Презентация на тему "4. Хранилища данных"

Содержание

• 
  Слайд 1

  4. Хранилища данных

  1

• 
  Слайд 2

  4.1. Основные понятия

  Системы оперативной обработки транзакций – Online Transaction Processing (OLTP) Системы поддержки принятия решений – Decision Support System (DSS) Усовершенствованная технология баз данных: специальные средства управления процессом хранения информации мощные инструменты анализа накопленных данных 2

• 
  Слайд 3

  4.2. Определение

  Bill Inmon, 1993 г. Хранилище данных (Data Warehouse) – это предметно-ориентированный, интегрированный, привязанный ко времени и неизменяемый набор данных, предназначенный для поддержки принятия решений 3

• 
  Слайд 4

  4.3. Сравнение систем

  1. Характер данных 4 OLTP + базы данных DSS + хранилища данных Текущие данные Исторические данные Подробные сведения Обобщенные данные Динамические данные Статические данные

• 
  Слайд 5

  4.3. Сравнение систем(продолжение)

  2. Обработка данных 5 Повторяющийся способ обработки Нерегламентированный, неструктурированный, эвристический способ Высокая интенсивность обработки транзакций Средняя и низкая интенсивность обработки транзакций Предсказуемый Непредсказуемый способ использования способ использования

• 
  Слайд 6
  

  3. Назначение системы 6 Обработка транзакций Проведение анализа Ориентирована на прикладную область Ориентирована на предметную область Поддержка принятия Поддержка принятия повседневных стратегических решений решений

• 
  Слайд 7
  

  4. Пользователи 7 Обслуживает большое количество пользователей исполнительного звена Обслуживает относительно небольшое количество работников руководящего звена

• 
  Слайд 8

  4.4. Конфигурация хранилища данных

  8 OLTP-системы Загрузочная секция Хранилище данных источники данных

• 
  Слайд 9

  4.5. Архитектура хранилища данных

  9 . . . Источники Архив и Средства DW L M Q M WM WM оперативных данных резервные копии доступа конечного пользователя

• 
  Слайд 10

  4.5. Архитектура хранилища данных(продолжение)

  10 Мета данные Детальные данные Частично обобщенные данные Глубоко обобщенные данные извлечение и загрузка данных обслуживание хранилища обслуживание запросов Постоянные данные Временные данные

• 
  Слайд 11
  

  Менеджер загрузки – Load Manager (LM): внешний (front-end) компонент; извлечение данных, загрузка данных в хранилище инструменты репликации информации генераторы кода механизмы динамического преобразования 11

• 
  Слайд 12
  

  Менеджер хранилища – Warehouse Manager (WM): управление информацией, помещенной в хранилище данных анализ непротиворечивости данных создание необходимых индексов денормализация обобщение резервное копирование 12

• 
  Слайд 13
  

  Менеджер запросов – Query Manager (QM): внутренний (back-end) компонент; управление запросами пользователей. Создается на базе предоставляемых СУБД инструментов доступа к данным и инструментов мониторинга хранилища 13

• 
  Слайд 14

  4.6. Средства доступа к данным

  Инструменты информационной системы руководителя – Executive Information System (EIS; сейчас – EverybodyInformation System); предоставление поддержки управляющему персоналу всех уровней. Предопределенный набор сценариев обработки данных и составления отчетов Express Analyzer фирмы Oracle 14

• 
  Слайд 15

  4.6. Средства доступа к данным(продолжение)

  2. Инструменты оперативной аналитической обработки – Online Analytical Processing (OLAP); оценка эффективности деятельности предприятия, предсказание объемов продаж и планирование товарных запасов. Построение и выполнение нерегламентированных запросов Express Server фирмы Oracle 15

• 
  Слайд 16
  

  3. Инструменты разработки данных – Data mining; открытие новых осмысленных корреляций, распределений и тенденций, создание предсказательных, а не ретроспективных моделей. Создание предсказательных моделей Intelligent Miner фирмы IBM 16

• 
  Слайд 17

  4.7. Витрины данных

  Data Mart– витрины (магазины) данных доступ к данным, которые приходится анализировать чаще других предоставление данных в форме, соответствующей коллективному представлению подразделения сокращение времени ответа на вопрос 17

• 
  Слайд 18

  4.9. Витрины данных(продолжение)

  18 Хранили-ще данных Витрина данных архив

• 
  Слайд 19

  4.7. Витрины данных(продолжение)

  Отличие от хранилища данных: отвечает требованиям только одного из подразделений организации или некоторой ее деловой сферы обычно не содержит детальных оперативных сведений структура информации более понятна и проста в управлении 19

• 
  Слайд 20
  

  Создание: хранилище данных  витрины данных витрины данных  хранилище данных хранилище данных + витрины данных 20

• 
  Слайд 21

  4.8. Проектирование хранилища данных

  21

• 
  Слайд 22

  4.8. Проектирование хранилища данных(продолжение)

  22

• 
  Слайд 23

  4.9. Схема типа «звезда»

  23 Таблица фактов 1 2 n Таблицы измерений

• 
  Слайд 24

  4.9. Схема типа «звезда»(продолжение)

  Категории измерений 24 Таблица фактов Люди Время Места Вещи

• 
  Слайд 25

  4.10. Пример проектирования

  25

• 
  Слайд 26

  4.10. Пример проектирования(продолжение)

  26

• 
  Слайд 27

  4.11. Особенности проектирования

  Таблица фактов: использование суррогатного ключа вычисляемые колонки (объем продаж, стоимость в . . . ) секционирование вертикальное (восстановление – через join) горизонтальное (восстановление – через union) 27

• 
  Слайд 28

  4.11. Особенности проектирования(продолжение)

  Таблицы измерений: существующие таблицы OLTP базы данных (Товар, Магазин) новые измерения (из других таблиц базы данных – Район или из элементов таблиц базы данных – Время) денормализация таблицы измерений развертывание измерений – схема типа «снежинка» 28

• 
  Слайд 29
  

  29

• 
  Слайд 30

  4.12. Технология OLAP

  Термин OLAP был предложен Коддом в 1993 г. и определяет архитектуру, которая поддерживает сложные аналитические приложения Назначение OLAP (Online AnalyticalProcessing) инструментов: предоставить средства извлечения большого количества записей и вычисления на их основе некоторых итоговых значений 30

• 
  Слайд 31

  4.13. Правила для OLAP систем

  E. Codd, 1993 г. Многомерное концептуальное представление данных Доступность Неизменная производительность подготовки отчетов 31

• 
  Слайд 32

  4.13. Правила для OLAP систем(продолжение)

  Неограниченные перекрестные операции между размерностями Неограниченное число измерений и уровней обобщения Гибкость средств формирования отчетов Универсальность измерений 32

• 
  Слайд 33
  

  Прозрачность Динамическое управление разреженностью матриц Архитектура клиент-сервер Многопользовательская поддержка Поддержка интуитивно понятного манипулирования данными 33

• 
  Слайд 34

  4.14. Критерий FASMI

  Fast – время отклика: среднее ~ 5 сек; для простых запросов - ~ 1 сек; для самых сложных - ~ 20 сек; более30 сек – недопустимо 34

• 
  Слайд 35

  4.14. Критерий FASMI(продолжение)

  Analysis – система должна справляться с любым логическим и статистическим анализом, характерным для данного приложения; пользователь может определять новые вычисления как часть анализа и формировать нужные отчеты без необходимости программирования 35

• 
  Слайд 36
  

  Shared – широкие возможности разграничения доступа к данным и одновременной работы многих пользователей 36

• 
  Слайд 37
  

  Multidimensional – должно быть обеспечено многомерное концептуальное представление данных Information – необходимая информация должна быть получена там, где она необходима 37

• 
  Слайд 38

  4.15. Многомерное представление

  Анализ изменения объема продаж и дохода торговых предприятий во времени 38 Номер записи Tid (FK1) Sid (FK2) Объем продаж Доход (руб) . . . Продажи Tid Месяц Квартал Год Время Sid Название Адрес Регион Предприятие

• 
  Слайд 39

  4.15. Многомерное представление(продолжение)

  Таблица РБД («плоская») 39

• 
  Слайд 40
  

  Двухмерное представление 40

• 
  Слайд 41
  

  41 Товар Предприятие Время

• 
  Слайд 42
  

  Достоинства многомерных структур: очень компактны обеспечивают простые средства просмотра и манипулирования элементами данных, обладающих многими взаимосвязями 42

• 
  Слайд 43
  

  Достоинства многомерных структур: легко расширяются при включении новой размерности допускают выполнение операций матричной арифметики, позволяющих легко вычислять средние и общие значения 43

• 
  Слайд 44
  

  «Типичная реляционная СУБД способна сканировать всего несколько сотен строк в секунду, тогда как типичная многомерная СУБД способна выполнять обобщающие операции со скоростью до 10000 строк в секунду и даже выше.» [Коннолли Т. и др.] 44

• 
  Слайд 45

  4.16. Аналитические операции

  Консолидация – обобщающие операции, такие как простое суммирование значений (свертка), или расчет с использованием сложных выражений, включающих другие связанные данные 45

• 
  Слайд 46

  4.16. Аналитические операции(продолжение)

  Нисходящий анализ (drill-down) – операция, обратная консолидации; включает возможность отображения подробных сведений для рассматриваемых консолидированных данных 46

• 
  Слайд 47
  

  Разбиение с поворотом (slicing and dicing) – также называется созданием сводной таблицы; позволяет получить представление данных с разных точек зрения 47

• 
  Слайд 48

  4.17. Категории OLAP инструментов

  Berson and Smith, 1997 г. Многомерные OLAP инструменты – Multidimensional OLAP, MOLAP Реляционные OLAP инструменты – Relational OLAP, ROLAP Управляемая среда запросов – Managed Query Environment, MQE 48

• 
  Слайд 49

  4.18. Многомерный OLAP

  Специализированные структуры данных и многомерные СУБД Данные обобщаются и хранятся в соответствии с их предполагаемым использованием Высокая производительность Тесное взаимодействие с уровнем приложения и уровнем отображения 49

• 
  Слайд 50

  4.18. Многомерный OLAP(продолжение)

  50 Источники данных Многомер-ные кубы загрузка запрос результат Логический уровень базы данных и приложения Уровень отображения

• 
  Слайд 51
  

  Особенности: Используемые структуры данных обладают ограниченной способностью поддержки нескольких предметных областей и осуществления доступа к подробным сведениям 51

• 
  Слайд 52
  

  Просмотр и анализ данных ограничен процессом проектирования структуры данных в соответствии с заранее определенными требованиями Необходимы особый набор навыков и знаний, использование специальных инструментов создания и сопровождения базы данных 52

• 
  Слайд 53

  4.19. Реляционный OLAP

  Взаимодействие с СУБД – уровень метаданных Нет необходимости создания статичной многомерной структуры данных Дополнительные средства поддержки функций многомерного анализа Создание сильно денормализованной базы данных 53

• 
  Слайд 54

  4.19. Реляционный OLAP(продолжение)

  54 Источники данных результат запрос результат Уровень базы данных Уровень отображения Уровень логики приложения SQL Сервер ROLAP

• 
  Слайд 55
  

  Особенности: Необходима разработка промежуточного ПО для многомерных приложений (преобразование отношений РБД в многомерную структуру) 55

• 
  Слайд 56
  

  Требуется разработка инструментов, предназначенных для создания устойчивых многомерных структур со вспомогательными компонентами администрирования этих структур 56

• 
  Слайд 57

  4.20. Дополнительные возможности SQL

  Предложение SELECT: SELECT . . . FROM . . . GROUP BY . . . WITH ROLLUP | WITH CUBE 57

• 
  Слайд 58

  4.20. Дополнительные возможности SQL(продолжение)

  Пример: 58 Sid SName . . . S Pid PName . . . P SELECT . . . WITH CUBE | WITH ROLLUP SP Sid (FK1) Pid (FK2) Date Qty SPid

• 
  Слайд 59
  

  Пример: SELECT SName, PName, sum(qty) as sum FROM S join SP on S.Sid = SP.Sid join P on SP.Pid = P.Pid GROUP BY SName, PName 59

• 
  Слайд 60
  

  60

• 
  Слайд 61
  

  Пример: SELECT SName, PName, sum(qty) as sum FROM S join SP on S.Sid = SP.Sid join P on SP.Pid = P.Pid GROUP BY SName, Pname WITH ROLLUP 61

• 
  Слайд 62
  

  62

• 
  Слайд 63
  

  63

• 
  Слайд 64
  

  Пример: SELECT SName, PName, sum(qty) as sum FROM S join SP on S.Sid = SP.Sid join P on SP.Pid = P.Pid GROUP BY SName, Pname WITH CUBE 64

• 
  Слайд 65
  

  65

• 
  Слайд 66
  

  66

• 
  Слайд 67

  5. Платформа EMC Documentum

  67

• 
  Слайд 68

  Области применения ИС

  Управление повседневными бизнес процессами (OLTP) Поддержка принятия стратегических решений(OLAP, Data mining) Управление информационным содержанием 68

• 
  Слайд 69
  

  Управление повседневными бизнес процессами (OLTP) 69

• 
  Слайд 70
  

  Поддержка принятия стратегических решений(OLAP, Data mining) 70

• 
  Слайд 71
  

  Enterprise Content Management (ECM) – стратегии, методы и инструментальные средства, используемые для ввода/сбора, управления, хранения, архивирования и доставки информационного содержания (контента) и документов, относящихся к ключевым процессам организации 71

• 
  Слайд 72

  Информационное содержание

  Информационное содержание (контент) – информационные объекты, хранящиеся в различных форматах, которые можно извлекать, повторно использовать публиковать (Коммерческие документы, сообщения электронной почты, образы документов, мультимедийные файлы, …) 72

• 
  Слайд 73

  Управление контентом

  Создание и сохранение документов Обработка документов – поиск, управление версиями, . . . Получение доступа к содержимому – управление доступом, аудит, . . . Управление бизнес процессами – автоматизация, жизненный цикл контента, . . . 73

• 
  Слайд 74
  

  Системы управления контентом (CMS, Content Management System) – управление неструктурированными данными Элемент контента Метаданные 74

• 
  Слайд 75
  

  Репозиторий – управляемый блок хранения контента и метаданных Инфраструктура репозитория Компоненты репозитория Сервисы репозитория Сервисы безопасности 75

• 
  Слайд 76

  Компоненты репозитория

  76 метаданные контент Полнотекстовый индекс Сервисы каталогов

• 
  Слайд 77

  Сервисы репозитория

  Объектная модель данным Управление связями объектов Словарь данных Сервисы хранения Поиск / запросы Жизненный цикл Распределенные / федеративные сервисы 77

• 
  Слайд 78

  Сервисы безопасности

  Управление доступом Управление правами Разрешения Аудит Шифрование 78

• 
  Слайд 79

  Управление процессами

  Workflow – представляет бизнес процессы и приложения, ориентированные на события. Может быть определен для документов, папок и виртуальных документов Lifecycle – последовательность состояний, в которых в которых может находиться отдельный документ 79

• 
  Слайд 80

  Workflow

  Бизнес процесс – набор связанных действий, которые создают некоторый результат, преобразуя исходные данные в более значимые выходные данные 80 workflow Исходные данные – документ Выходные данные – документ

• 
  Слайд 81
  

  Описание процесса Задача (activity) Исполнитель (performer) Поток информации (flow) Конкретное выполнение работ – процесс (workflow) 81 начало

• 
  Слайд 82

  Lifecycle

  Строго последовательное переключение состояний Состояния жизненного цикла Стартовое – создание документа, ввод содержимого Промежуточные состояния – различные стадии документа Конечное состояние – передача документа в архив 82

• 
  Слайд 83

  Пример

  Workflow Lifecycle 83 согласо-вание согласо-вание согласо-вание согласо-вание создание архив чер-но-вик согла-сован акти-вен отме-нен