Презентация на тему "Распределенные системы"

Презентация: Распределенные системы
Включить эффекты
1 из 167
Ваша оценка презентации
Оцените презентацию по шкале от 1 до 5 баллов
  • 1
  • 2
  • 3
  • 4
  • 5
0.0
0 оценок

Комментарии

Нет комментариев для данной презентации

Помогите другим пользователям — будьте первым, кто поделится своим мнением об этой презентации.


Добавить свой комментарий

Аннотация к презентации

Посмотреть и скачать бесплатно презентацию по теме "Распределенные системы", состоящую из 167 слайдов. Размер файла 0.69 Мб. Каталог презентаций, школьных уроков, студентов, а также для детей и их родителей.

  • Формат
    pptx (powerpoint)
  • Количество слайдов
    167
  • Слова
    другое
  • Конспект
    Отсутствует

Содержание

  • Презентация: Распределенные системы
    Слайд 1

    Распределенные системы

  • Слайд 2

    Общая характеристика

    - Технология распределенных БД Distributed Database - Технология тиражирования данных Data Replication Коммуникаци-онная сеть БД БД БД 2

  • Слайд 3

    Системы распределенных баз данных – наборузлов, связанных вместе коммуникационной сетью: каждый узел обладает своими собственными системами баз данных; узлы работают согласованно, предоставляя доступ к данным на любом узле сети. 3

  • Слайд 4

    Распределенная БД – тип виртуального объекта На каждом узле: собственные базы данных собственные локальные пользователи собственные СУБД и средства управления транзакциями 4

  • Слайд 5

    Два вида систем распределенных БД: однородные неоднородные Фундаментальный принцип системы распределенных БД: Для пользователя система распределенных БД должна выглядеть точно так же, как нераспределенная система 5

  • Слайд 6

    Проблемы сетевого взаимодействия Проблемы доступа к данным Проблемы распределенных СУБД Проблемы тиражирования (репликации) данных Проблемы неоднородных систем 6

  • Слайд 7

    Проблемы сетевого взаимодействия

    Клиент Сервер Локальный узел Удаленный узел Программа связи Client Net Коммуникационный сервер Server Net Сетевые компоненты СУБД 7

  • Слайд 8

    Требования: прозрачность сети независимость от аппаратного обеспечения автоматическая трансляция кодов независимость от СУБД 8

  • Слайд 9

    Прозрачность сети: независимость от использования сетевого аппаратного обеспечения независимость от протоколов сетевого обмена Коммуникационный сервер должен поддерживать как можно более широкий диапазон сетевых протоколов 9

  • Слайд 10

    Независимость от аппаратного обеспечения: необходимость согласования форматов представления данных Задача коммуникационного сервера – на уровне обмена данными обеспечить согласование их форматов между удаленными и локальными узлами 10

  • Слайд 11

    Автоматическая трансляция кодов: необходимость преобразования кодов символов в соответствии с используемыми таблицами кодов (ASCII, EBCDIC) Коммуникационный сервер должен решать проблему трансляции кодов для каждой взаимодействующей пары 11

  • Слайд 12

    Независимость от СУБД: Все экземпляры СУБД, функционирующие на различных узлах сети, должны поддерживать один и тот же интерфейс 12

  • Слайд 13

    Проблемы доступа к данным

    Требования: прозрачность (независимость от) расположения прозрачность (независимость от) фрагментации 13

  • Слайд 14

    Прозрачность расположения 14 Коммуникаци-онная сеть БД Склад БД Предприятие Деталь Поставщик Прикладная программа Узел 1 Узел 2 Узел 3 Клиент

  • Слайд 15

    Имя объекта в MS SQL Server: сервер.база_данных.пользователь.объект Прозрачный (для пользователя) доступ к удаленным данным предполагает использование в прикладных программах такого интерфейса с сервером БД, который позволяет переносить данные в сети с одного узла на другой, не требуя при этом модификации текста прикладной программы 15

  • Слайд 16

    Прозрачность фрагментации: В системе поддерживается фрагментация данных, если некое хранимое отношение в целях физического хранения можно разделить на части, или фрагменты, хранимые на разных узлах сети 16

  • Слайд 17

    17 DeptID . . . EmpID DeptID (FK) . . . Department Employee

  • Слайд 18

    Предполагается, что: все фрагменты данного отношения независимы фрагменты не должны допускать потерю информации 18

  • Слайд 19

    Проблемы распределенных СУБД

    Задачи: управление именами в распределенной среде обработка распределенных запросов управление распределенными транзакциями 19

  • Слайд 20

    Управление именами в распределенной среде Организация системного каталога: Централизованный каталог Полностью тиражируемый (реплицированный) каталог Секционированный (локальный) каталог 1 + 3 . . . 20

  • Слайд 21

    Управление именами в System R* Системное имя объекта: кто_создал@где_создал.имя_объекта@где_размещен 21

  • Слайд 22

    22 Коммуникаци-онная сеть Объект STATS Узел M Узел P Пользователь Mary Узел N Mary@M.STATS@P

  • Слайд 23

    Синоним системного имени: CREATE SYNONYMимя_синонима FORимя_объекта CREATE SYNONYM MSTATS FOR Mary@M.STATS@N 23

  • Слайд 24

    Структура распределенного каталога 24 Таблица синонимов Информация о локальных объектах Информация родового узла Узел P Таблица синонимов Информация о локальных объектах Информация родового узла Узел N

  • Слайд 25

    25 Коммуникаци-онная сеть STATS Узел X Узел P Прикладная программа Узел N SELECT * FROM MSTAT

  • Слайд 26

    26 Коммуникаци-онная сеть STATS Узел X Узел P Прикладная программа Узел N SELECT * FROM MSTAT

  • Слайд 27

    Обработка распределенных запросов SELECT S.SName FROM S, P, SP WHERE (S.Address = 'NNN' AND S.SId = SP.SId AND SP.PId = P.PId AND P.Mat = 'MMM') 27 SId SName Address . . . S PId PName Mat Qty . . . P SPId SId (FK1) PId (FK2) Qty . . . SP

  • Слайд 28

    28 Коммуникаци-онная сеть S Узел Y Узел X SP P

  • Слайд 29

    Обработка распределенных запросов (query processing) – преобразование декларативного определения запроса в операции манипулирования данными низкого уровня 29

  • Слайд 30

    Централизованные СУБД декомпозиция запроса оптимизация запроса Распределенные СУБД декомпозиция запроса локализация данных глобальная оптимизация запроса оптимизация запроса 30

  • Слайд 31

    Декомпозиция запроса – трансляция с языка SQL в выражение реляционной алгебры Оптимизация запроса – выбор «наилучшей» стратегии выполнения запроса из множества альтернатив(минимальная сумма затрат, необходимых для выполнения запроса) 31

  • Слайд 32

    Локализация данных – преобразование выражения реляционной алгебры с учетом физического размещения данных Глобальная оптимизация – поиск наилучшей стратегии выполнения запроса с учетом коммуникационных операций пересылки данных 32

  • Слайд 33

    Управление распределенными транзакциями Выполнение транзакции, инициированной в некотором узле сети N, влечет инициирование транзакции и в других узлах: T = { TN, TX, TY, … } 33

  • Слайд 34

    В распределенных БД транзакция, выполнение которой заключается в обновлении данных на нескольких узлах сети, называется глобальной, или распределенной транзакцией. Глобальная транзакция состоит из нескольких агентов, или локальных транзакций. 34

  • Слайд 35

    Для глобальной транзакции – свойства АСИД. Проблемы: управление параллелизмом управление восстановлением 35

  • Слайд 36

    Управление параллелизмом Также основано на механизме блокировок Свойство сериализуемости транзакций: Ни одна блокировка от имени какой-либо транзакции не должна устанавливаться после снятия хотя бы одной ранее установленной блокировки 36

  • Слайд 37

    Свойство глобальной сериализуемости: Выполнение множества распределенных транзакций является сериализуемым тогда и только тогда, когда: выполнение этого множества транзакций является сериализуемым на каждом узле, порядок сериализации этих транзакций на всех узлах один и тот же 37

  • Слайд 38

    Методы блокирования: Централизованное блокирование – centralizedlocking Распределенное (децентрализованное) блокирование – distributed (decentralized) locking 38

  • Слайд 39

    Централизованное блокирование Единая таблица блокировок для всей распределенной БД, управляемая единым менеджером блокировок Проблемы: производительность надежность 39

  • Слайд 40

    Распределенное (децентрализованное) блокирование Управление блокировками распределено между всеми узлами системы; взаимная координация менеджеров блокировок Проблемы: более сложные алгоритмы выше коммуникационные затраты 40

  • Слайд 41

    Проблема тупиков (deadlock) 41 Объект 1 Объект 2 Узел X Узел Y Транзакция1 Транзакция 2 ожидание ожидание

  • Слайд 42

    Управление восстановлением Типы сбоев: программный (сбой транзакции) мягкий (сбой системы, узла; потеря данных в оперативной памяти) жесткий (сбой носителей; потеря данных во внешней памяти) коммуникационные сбои 42

  • Слайд 43

    Коммуникационные сбои: ошибки в сообщениях (сетевой протокол) нарушение упорядоченности сообщений (сетевой протокол) потерянные (не доставленные) сообщения (СУБД) повреждение линий связи (СУБД) 43

  • Слайд 44

    Свойства транзакции: Атомарность – протокол 2PC Согласованность Изолированность Долговременность – протокол распределенного восстановления 44

  • Слайд 45

    Атомарность T = { TN, TX, TY, … } commit – должны быть зафиксированы изменения для всех локальных транзакций rollback – должны быть аннулированы изменения для всех локальных транзакций Журнал распределенной транзакции 45

  • Слайд 46

    Протокол двухфазной фиксации – 2PC (two-phase commit) 46 Начало транзакции Конец транзакции Фаза 1 Фаза 2 Координатор транзакции Узел X Узел Y

  • Слайд 47

    Фаза 1 – Подготовиться к фиксации Локальные журналы транзакций, ответ Фаза 2– Принятие решения Глобальный журнал транзакции, фиксация решения, информирование участников 47

  • Слайд 48

    Важно: Каждый участник глобальной транзакции должен делать то, что ему предписано координатором во время фазы 2 Именно появление записи решения в журнале координатора отмечает переход с фазы 1 на фазу 2. 48

  • Слайд 49

    Особенности: Функция координатора выполняется узлом, на котором инициирована распределенная транзакция. Координатор должен обмениваться данными с каждым узлом-участником. Локальные узлы – участники процесса двухфазной фиксации должны выполнять любые действия, предписанные координатором, и теряют локальную автономность. 49

  • Слайд 50

    Проблемы: 1. Односторонний выбор участником аварийного завершения Узел Х проголосовал за откат транзакции – не ожидает ответа от координатора 50

  • Слайд 51

    Проблемы: 2. Блокирующий характер протокола 2PC Узел Х проголосовал за фиксацию транзакции; ожидает ответа от координатора – сбой на линии связи 51

  • Слайд 52

    Протокол восстановления Ищется запись в журнале координатора: есть – можно восстановить, нет – откат Потеря связи с локальным узлом: во время фазы 1 – откат транзакции во время фазы 2 – попытки завершить транзакцию, пока связь не будет восстановлена 52

  • Слайд 53

    Сбой координатора: до начала процедуры фиксации: начать процесс фиксации после восстановления координатор в состоянии готовности (фаза 1): перезапустить процедуру фиксации после восстановления после принятия решения (фаза 2): никаких действий 53

  • Слайд 54

    Технология тиражирования данных

    Концепции: Отказ от распределения данных Все данные дублируются на каждом узле сети (где они обрабатываются) Транзакции в системе выполняются и завершаются локально 54

  • Слайд 55

    В системе поддерживается репликация данных (Data Replication), если заданное хранимое отношение или заданный фрагмент могут быть представлены несколькими разными копиями, или репликами, хранимыми на разных узлах сети 55

  • Слайд 56

    Независимость от репликации: пользователи, по крайней мере, с логической точки зрения, должны работать таком режиме, как будто данные не реплицированы вовсе. 56

  • Слайд 57

    Преимущества: данные всегда расположены там, где они обрабатываются; большая доступность: пока остается доступной хотя бы одна реплика; большая надежность хранения данных: всегда можно восстановить целостное состояние БД, если существует хотя бы одна ее реплика на каком-либо узле сети. 57

  • Слайд 58

    Главный недостаток: нарушение тождественности всех копий Требование: при обновлении некоторого реплицированного объекта все копии этого объекта также должны обновляться (проблема тиражирования обновлений). 58

  • Слайд 59

    Тиражирование данных – это асинхронный перенос изменений объектов исходной БД в принимающие БД, принадлежащие различным узлам распределенной системы В составе СУБД – сервер тиражирования данных (репликатор) 59

  • Слайд 60

    Главная проблема – нарушение целостности данных: При последовательном обращении к разным копиям – когда передавать информацию об изменениях? При параллельном обращении – нужно ли (и как) запрещать доступ к данным со стороны других пользователей? 60

  • Слайд 61

    Задача 1 – стратегия обновления копий: синхронное обновление асинхронное обновление Задача 2 – стратегия доступа к данным: все копии доступны для обновления только некоторые копии доступны для обновления 61

  • Слайд 62

    Стратегии доступа к данным Только некоторые копии доступны для обновления – концепция первичной копии: изменения выполняются только на узле, выделенном для первичной копии на остальных узлах – только чтение данных за тиражирование изменений отвечает узел первичной копии 62

  • Слайд 63

    63 Коммуникаци-онная сеть БД БД БД Узел первичной копии

  • Слайд 64

    Концепция первичной копии: одновременный доступ – за счет блокировок первичной копии Используется: в системах поддержки принятия решений в системах поддержки мобильных пользователей 64

  • Слайд 65

    Все копии доступны для изменения – проблемы с точки зрения синхронизации обновлений: обеспечение целостности данных обеспечение доступности данных Оптимистические и пессимистические протоколы управления транзакциями 65

  • Слайд 66

    Пессимистические протоколы – предпочтение обеспечению целостности: на отдельных узлах сети не допускается выполнение любых транзакций, для которых не существует гарантии не нарушения целостности базы данных Алгоритмы управления параллелизмом: метод 2PC метод распределенных блокировок 66

  • Слайд 67

    Оптимистические протоколы – предпочтение обеспечению доступности данных: допускается независимое обновление данных в каждой копии, даже если после объединения всех изменений вероятен переход базы данных в несогласованное состояние 67

  • Слайд 68

    Стратегии обновления копий Тиражирование обновлений: синхронное асинхронное 68

  • Слайд 69

    Синхронное обновление: обновление всех копий – часть самой транзакции; используется протокол 2PC, но по сети передаются только изменения данных Недостатки: транзакция не может быть завершена, если один из узлов недоступен дополнительная нагрузка на сеть 69

  • Слайд 70

    Асинхронное обновление: обновление целевых баз данных после выполнения обновлений исходной базы данных. Задержка – от нескольких секунд до нескольких часов и даже дней Гарантируется, что в какой-то момент времени данные во всех копиях будут синхронизированы 70

  • Слайд 71

    Кто инициирует распространение обновлений: узел, на котором выполнены изменения узел, которому нужны обновленные данные 71

  • Слайд 72

    Репликации в MS SQL Server Терминология: Издатель – Publisher: сервер, который предоставляет информацию из своих баз данных другим серверам Подписчик – Subscriber: сервер, копирующий информацию от издателя 72

  • Слайд 73

    Дистрибьютор – Distributor: промежуточный север, принимающий данные от издателя и распространяющий их подписчикам 73

  • Слайд 74

    Публикация – набор статей для обновления, принадлежащих одной базе данных Статья – минимальный набор данных, рассматриваемый системой репликации как одно целое (обычно – таблица базы данных) 74

  • Слайд 75

    Функции издателя: создание публикации отслеживание изменений, вносимых в данные подготовка публикации к тиражировнию 75

  • Слайд 76

    Типы репликации Только издатель может изменять публикацию репликация моментальных снимков Все могут изменять публикацию подписчики незамедлительного обновления репликация сведением отложенные обновления 76

  • Слайд 77

    Репликация моментальных снимков – Snapshot Replication Для тиражирования данных используются моментальные снимки – полная копия публикации, сохраняемая в специальном файле 77

  • Слайд 78

    Подписчики незамедлительного обновления – Immediate Updating Subscriber Подписчик, изменяя свою копию данных, одновременно должен выполнить изменение данных на издателе Нет конфликтов изменения данных Постоянное соединение между подписчиком и издателем 78

  • Слайд 79

    Репликация сведением – Merge Replication Самый сложный тип репликации Не требуется постоянное соединение подписчика с издателем Подписчики работают автономно, накапливая изменения данных На издателе объединяются все изменения данных 79

  • Слайд 80

    На издателе могут быть обнаружены конфликты изменений Специальные алгоритмы разрешения конфликтов, в основе которых – «шкала приоритетов» 80

  • Слайд 81

    Отложенное обновление – Queue Updating Обновления, выполненные на подписчике, применяются на издателе с некоторой задержкой Постоянное соединение с издателем отсутствует Соединение периодически устанавливается 81

  • Слайд 82

    Подписчик записывает информацию о выполненных изменениях в очередь; если информация об изменениях не может быть записана в очередь – изменения не фиксируются Запомненные в очереди данные переносятся на издатель Также возможны конфликты изменений 82

  • Слайд 83

    Методы обновления информации на подписчиках 1. Принудительная репликация – Push Subscription Инициатор – издатель Требуется постоянное соединение Интервалы обновления подписчиков устанавливаются на дистрибьюторе 83

  • Слайд 84

    2. Репликация по запросу – Pull Subscription Инициатор – подписчик Для каждого подписчика на дистрибьюторе – свой набор данных, отражающий изменения Не требуется постоянное соединение 84

  • Слайд 85

    Хранилища данных

    85

  • Слайд 86

    Основные понятия

    Системы оперативной обработки транзакций – Online Transaction Processing (OLTP) Системы поддержки принятия решений – Decision Support System (DSS) Усовершенствованная технология баз данных: специальные средства управления процессом хранения информации мощные инструменты анализа накопленных данных 86

  • Слайд 87

    Определение

    Bill Inmon, 1993 г. Хранилище данных (Data Warehouse) – это предметно-ориентированный, интегрированный, привязанный ко времени и неизменяемый набор данных, предназначенный для поддержки принятия решений 87

  • Слайд 88

    Сравнение систем

    1. Характер данных 88

  • Слайд 89

    2. Обработка данных 89

  • Слайд 90

    3. Назначение системы 90

  • Слайд 91

    4. Пользователи 91

  • Слайд 92

    Конфигурация хранилища данных

    92 OLTP-системы источники данных Загрузочная секция Хранилище данных

  • Слайд 93

    Загрузочная секция

    Назначение: устранение несогласованности, фрагментарности, дубликатов и пропусков – очистка данных (data scrubbing) обеспечение совместимости данных с другими источниками – расслоение (slicing) и расщепление (dicing) данных 93

  • Слайд 94

    Архитектура хранилища данных

    94 . . . Источники оперативных данных Архив и резервные копии Средства доступа конечного пользователя DW L M Q M WM WM

  • Слайд 95

    Менеджер загрузки – Load Manager (LM): внешний (front-end) компонент; извлечение данных, загрузка данных в хранилище инструменты репликации информации генераторы кода механизмы динамического преобразования 95

  • Слайд 96

    Менеджер хранилища – Warehouse Manager (WM): управление информацией, помещенной в хранилище данных анализ непротиворечивости данных создание необходимых индексов денормализация обобщение резервное копирование 96

  • Слайд 97

    Менеджер запросов – Query Manager (QM): внутренний (back-end) компонент; управление запросами пользователей. Создается на базе предоставляемых СУБД инструментов доступа к данным и инструментов мониторинга хранилища 97

  • Слайд 98

    Структура хранилища данных

    98 Мета данные Детальные данные Частично обобщенные данные Глубоко обобщенные данные извлечение и загрузка данных обслуживание хранилища обслуживание запросов Постоянные данные Временные данные

  • Слайд 99

    Средства доступа к данным

    1. Инструменты информационной системы руководителя – Executive Information System (EIS; сейчас – EverybodyInformation System); предоставление поддержки управляющему персоналу всех уровней. Предопределенный набор сценариев обработки данных и составления отчетов Express Analyzer фирмы Oracle 99

  • Слайд 100

    2. Инструменты оперативной аналитической обработки – Online Analytical Processing (OLAP); оценка эффективности деятельности предприятия, предсказание объемов продаж и планирование товарных запасов. Построение и выполнение нерегламентированных запросов Express Server фирмы Oracle 100

  • Слайд 101

    3. Инструменты разработки данных – Data mining; открытие новых осмысленных корреляций, распределений и тенденций, создание предсказательных, а не ретроспективных моделей. Создание предсказательных моделей Intelligent Miner фирмы IBM 101

  • Слайд 102

    Витрины данных

    Data Mart– (магазины данных) – подмножество хранилища данных, которое поддерживает требования отдельного подразделения или деловой сферы организации доступ к данным, которые приходится анализировать чаще других предоставление данных в форме, соответствующей коллективному представлению подразделения сокращение времени ответа на вопрос 102

  • Слайд 103

    103 Хранили-ще данных Магазин данных архив

  • Слайд 104

    Отличие от хранилища данных: отвечает требованиям только одного из подразделений организации или некоторой ее деловой сферы обычно не содержит детальных оперативных сведений структура информации более понятна и проста в управлении 104

  • Слайд 105

    Проектирование хранилища данных

    105

  • Слайд 106

    Схема типа «звезда»

    106 Таблица фактов 1 2 n Таблицы измерений

  • Слайд 107

    Таблица фактов (fact table) – количественные значения; деловые факты, определяющие фактическую сущность; детальные данные, представляющие собой основные виды бизнес деятельности организации и факторы, влияющие на данный бизнес или его сектор 107

  • Слайд 108

    Таблицы измерений (dimension tables) – дескриптивные (описательные) значения; справочные данные, или данные деловых измерений; элементы, которые могут оказывать определенное влияние или порождать различные тенденции в развитии фактов 108

  • Слайд 109

    Категории измерений 109 Таблица фактов Люди Время Места Вещи

  • Слайд 110

    Пример проектирования

    110

  • Слайд 111

    Области применения ИС

    Управление повседневными бизнес процессами (OLTP) Поддержка принятия стратегических решений(OLAP, Data mining) Управление информационным содержанием 111

  • Слайд 112

    Пример проектирования

    112

  • Слайд 113

    Особенности проектирования

    Таблица фактов: использование суррогатного ключа вычисляемые колонки (объем продаж, стоимость в . . . ) секционирование вертикальное (восстановление – через join) горизонтальное (восстановление – через union) 113

  • Слайд 114

    Таблицы измерений: существующие таблицы OLTP базы данных (Товар, Магазин) новые измерения (из других таблиц базы данных – Район или из элементов таблиц базы данных – Время) денормализация таблицы измерений развертывание измерений – схема типа «снежинка» 114

  • Слайд 115

    115

  • Слайд 116

    Технология OLAP

    Назначение OLAP (Online Analytical Processing) инструментов: предоставить средства извлечения большого количества записей и вычисления на их основе некоторых итоговых значений. Термин OLAP был предложен Коддом в 1993 г. и определяет архитектуру, которая поддерживает сложные аналитические приложения. 116

  • Слайд 117

    Критерий FASMI: Fast – время отклика: среднее ~ 5 сек; для простых запросов - ~ 1 сек; для самых сложных - ~ 20 сек; более30 сек – недопустимо 117

  • Слайд 118

    Analysis – система должна справляться с любым логическим и статистическим анализом, характерным для данного приложения; пользователь может определять новые вычисления как часть анализа и формировать нужные отчеты без необходимости программирования 118

  • Слайд 119

    Shared – широкие возможности разграничения доступа к данным и одновременной работы многих пользователей Multidimensional – должно быть обеспечено многомерное концептуальное представление данных Information – необходимая информация должна быть получена там, где она необходима 119

  • Слайд 120

    Многомерное представление

    Анализ изменения объема продаж и дохода торговых предприятий во времени 120 Номер записи Tid (FK1) Sid (FK2) Объем продаж Доход (руб) . . . Продажи Tid Месяц Квартал Год Время Sid Название Адрес Регион Предприятие

  • Слайд 121

    Таблица РБД («плоская») 121

  • Слайд 122

    Двухмерное представление 122

  • Слайд 123

    123 Товар Предприятие Время

  • Слайд 124

    Достоинства многомерных структур: очень компактны обеспечивают простые средства просмотра и манипулирования элементами данных, обладающих многими взаимосвязями 124

  • Слайд 125

    Достоинства многомерных структур: легко расширяются при включении новой размерности допускают выполнение операций матричной арифметики, позволяющих легко вычислять средние и общие значения 125

  • Слайд 126

    «Типичная реляционная СУБД способна сканировать всего несколько сотен строк в секунду, тогда как типичная многомерная СУБД способна выполнять обобщающие операции со скоростью до 10000 строк в секунду и даже выше.» [Коннолли Т. и др.] 126

  • Слайд 127

    Аналитические операции

    Консолидация – обобщающие операции, такие как простое суммирование значений (свертка), или расчет с использованием сложных выражений, включающих другие связанные данные 127

  • Слайд 128

    Нисходящий анализ (drill-down) – операция, обратная консолидации; включает возможность отображения подробных сведений для рассматриваемых консолидированных данных; 128

  • Слайд 129

    Разбиение с поворотом (slicing and dicing) – также называется созданием сводной таблицы; позволяет получить представление данных с разных точек зрения. Например, одно представление – сведения о доходах от продаж товаров указанного типа по каждому району, другое представление – данные о доходах магазинов в каждом районе 129

  • Слайд 130

    Предварительное обобщение, использование иерархической структуры размерностей и управление заполнением пространства кубов позволяют значительно сократить размер базы данных и исключить потребность многократного вычисления одних и тех же значений 130

  • Слайд 131

    Правила для OLAP систем

    E. Codd, 1993 г. Многомерное концептуальное представление данных Доступность (доступ к требуемым для анализа данным) Неизменная производительность подготовки отчетов (количество измерений, степень обобщения данных) 131

  • Слайд 132

    Неограниченные перекрестные операции между размерностями Неограниченное число измерений и уровней обобщения Гибкость средств формирования отчетов 132

  • Слайд 133

    Категории OLAP инструментов

    Berson and Smith, 1997 г. Многомерные OLAP инструменты – Multidimensional OLAP, MOLAP Реляционные OLAP инструменты – Relational OLAP, ROLAP Управляемая среда запросов – Managed Query Environment, MQE 133

  • Слайд 134

    Многомерный OLAP

    Специализированные структуры данных и многомерные СУБД Данные обобщаются и хранятся в соответствии с их предполагаемым использованием Высокая производительность Тесное взаимодействие с уровнем приложения и уровнем отображения 134

  • Слайд 135

    135 Источники данных Многомер-ные кубы загрузка запрос результат Логический уровень базы данных и приложения Уровень отображения

  • Слайд 136

    Особенности: Используемые структуры данных обладают ограниченной способностью поддержки нескольких предметных областей и осуществления доступа к подробным сведениям 136

  • Слайд 137

    Просмотр и анализ данных ограничен процессом проектирования структуры данных в соответствии с заранее определенными требованиями Необходимы особый набор навыков и знаний, использование специальных инструментов создания и сопровождения базы данных 137

  • Слайд 138

    Реляционный OLAP

    Взаимодействие с СУБД – уровень метаданных Нет необходимости создания статичной многомерной структуры данных Дополнительные средства поддержки функций многомерного анализа Создание сильно денормализованной базы данных 138

  • Слайд 139

    139 Источники данных результат запрос результат Уровень базы данных Уровень отображения Уровень логики приложения SQL Сервер ROLAP

  • Слайд 140

    Особенности: Необходима разработка промежуточного ПО для многомерных приложений (преобразование отношений РБД в многомерную структуру) 140

  • Слайд 141

    Требуется разработка инструментов, предназначенных для создания устойчивых многомерных структур со вспомогательными компонентами администрирования этих структур 141

  • Слайд 142

    Дополнительные возможности SQL

    Предложение SELECT: SELECT . . . FROM . . . GROUP BY . . . WITH ROLLUP | WITH CUBE 142

  • Слайд 143

    Пример: 143 Sid SName . . . S Pid PName . . . P SELECT . . . WITH CUBE | WITH ROLLUP SP Sid (FK1) Pid (FK2) Date Qty SPid

  • Слайд 144

    Пример: SELECT SName, PName, sum(qty) as sum FROM S join SP on S.Sid = SP.Sid join P on SP.Pid = P.Pid GROUP BY SName, PName 144

  • Слайд 145

    145

  • Слайд 146

    Пример: SELECT SName, PName, sum(qty) as sum FROM S join SP on S.Sid = SP.Sid join P on SP.Pid = P.Pid GROUP BY SName, Pname WITH ROLLUP 146

  • Слайд 147

    147

  • Слайд 148

    148

  • Слайд 149

    Пример: SELECT SName, PName, sum(qty) as sum FROM S join SP on S.Sid = SP.Sid join P on SP.Pid = P.Pid GROUP BY SName, Pname WITH CUBE 149

  • Слайд 150

    150

  • Слайд 151

    151

  • Слайд 152

    Платформа EMC Documentum

    152

  • Слайд 153

    Области применения ИС

    Управление повседневными бизнес процессами (OLTP) 153

  • Слайд 154

    Поддержка принятия стратегических решений(OLAP, Data mining) 154

  • Слайд 155

    Enterprise Content Management (ECM) – стратегии, методы и инструментальные средства, используемые для ввода/сбора, управления, хранения, архивирования и доставки информационного содержания (контента) и документов, относящихся к ключевым процессам организации 155

  • Слайд 156

    Информационное содержание

    Информационное содержание (контент) – информационные объекты, хранящиеся в различных форматах, которые можно извлекать, повторно использовать публиковать (Коммерческие документы, сообщения электронной почты, образы документов, мультимедийные файлы, …) 156

  • Слайд 157

    Управление контентом

    Создание и сохранение документов Обработка документов – поиск, управление версиями, . . . Получение доступа к содержимому – управление доступом, аудит, . . . Управление бизнес процессами – автоматизация, жизненный цикл контента, . . . 157

  • Слайд 158

    Системы управления контентом(CMS, Content Management System) – управление неструктурированными данными Элемент контента Метаданные 158

  • Слайд 159

    Репозиторий – управляемый блок хранения контента и метаданных Инфраструктура репозитория Компоненты репозитория Сервисы репозитория Сервисы безопасности 159

  • Слайд 160

    Компоненты репозитория

    160 метаданные контент Полнотекстовый индекс Сервисы каталогов

  • Слайд 161

    Сервисы репозитория

    Объектная модель данным Управление связями объектов Словарь данных Сервисы хранения Поиск / запросы Жизненный цикл Распределенные / федеративные сервисы 161

  • Слайд 162

    Сервисы безопасности

    Управление доступом Управление правами Разрешения Аудит Шифрование 162

  • Слайд 163

    Управление процессами

    Workflow – представляет бизнес процессы и приложения, ориентированные на события. Может быть определен для документов, папок и виртуальных документов Lifecycle – последовательность состояний, в которых в которых может находиться отдельный документ 163

  • Слайд 164

    Workflow

    Бизнес процесс – набор связанных действий, которые создают некоторый результат, преобразуя исходные данные в более значимые выходные данные 164 workflow Исходные данные – документ Выходные данные – документ

  • Слайд 165

    Описание процесса Задача (activity) Исполнитель (performer) Поток информации (flow) Конкретное выполнение работ – процесс (workflow) 165 начало

  • Слайд 166

    Lifecycle

    Строго последовательное переключение состояний Состояния жизненного цикла Стартовое – создание документа, ввод содержимого Промежуточные состояния – различные стадии документа Конечное состояние – передача документа в архив 166

  • Слайд 167

    Пример

    Workflow Lifecycle 167 согласо-вание согласо-вание согласо-вание согласо-вание создание архив чер-но-вик согла-сован акти-вен отме-нен

Посмотреть все слайды

Сообщить об ошибке