Базы и хранилища данных предприятий и организаций – накопление, хранение и актуализация информации
Базы данных являются ядром информационного обеспечения АИС. В них должна быть представлена информация, отражающая различные направления деятельности организации и пригодная для проведения всестороннего анализа. Хранилище данных, которое является следующим этапом развития БД выполняет следующие функции:
- собирает информацию из различных источников, прежде всего из оперативных приложений АИС, а также от внешних источников, например, организаций по исследованию рынка, лабораторий по оценке качества, консалтинговых компаний и независимых аналитиков;
- интегрирует данные в логические модели по определенным предметным областям;
- хранит информацию таким образом, чтобы она была легко доступна и понятна различным категориям пользователей;
- предоставляет данные разнообразным приложениям.
АИС работает с двумя разными типами информации:
- постоянно изменяемые базы данных систем оперативной обработки содержат детальную информацию по определенному процессу;
- аналитические данные содержат обобщенные сведения по достаточно широкой предметной области, которая может охватывать различные направления деятельности.
Данные хранилища не просто фиксируют события, но и отражают определенные тенденции, например, недельные продажи, выполненные различными филиалами фирмы за последние пять лет, сгруппированные по типу товаров.
Исходные данные для хранилища поступают из БД, поддерживающих различные виды деятельности организации, а также из внешних источников. Помимо входных данных в хранилище могут размещаться производные данные и данные об изменениях. Первые представляют собой данные реального времени или обработанные данные, обобщенные для простоты дальнейшего использования. Манипулирование большими объемами данных в исходном виде создает колоссальную нагрузку на процессоры. С другой стороны, конечным пользователям могут понадобиться не детальные отчеты, а обобщенная информация, для хранения которой необходима отдельная база данных. Использование обобщенных данных снижает нагрузку на вычислительные системы и сокращает время отклика приложений.
Данные об изменениях представляют собой запись всех модификаций некоторых данных реального времени. Эти записи накладываются на шкалу времени для отслеживания скорости изменений. Информация этого типа позволяет анализировать тенденции или состояние на определенный момент времени. Например, банк может проследить динамику вкладов в отделениях определенного региона и оценить ее влияние на потоки наличных денег.
Важнейший компонент БД – метаданные, или данные о данных. Это информация о том, что представляют собой данные хранилища, их основные типы, элементы и структура, процессы преобразования, где хранятся данные, как получить доступ к ним и т.д. Доступ к метаданным должны иметь все программы, обслуживающие и использующие хранилище данных. Метаданные особенно важны для тех пользователей, которые разрабатывают собственные аналитические приложения, поскольку им необходима достоверная информация о том, какие данные доступны, что они из себя представляют, как давно обновлялись и т.д.
Среда хранилища данных – это сложный комплекс разнообразных инструментов и функций, реализующих процессы создания, эксплуатации, постепенного расширения и изменения информационного хранилища. Основными компонентами такой среды являются:
- программы доступа к источникам данных;
- инструменты преобразования оперативных и внешних данных;
- сервер базы данных хранилища;
- программа управления хранилищем (администратор);
- словарь-справочник данных (ССД – метаданные).
Данные поступают в хранилище из внутренних оперативных приложений и внешних источников, затем обрабатываются и помещаются в разделы хранилища, соответствующие структуре предметной области. Прикладные форматы представления данных (интерфейсы пользователей) разрабатываются как часть этой структуры и предоставляются конечным пользователям. Администратор хранилища создает и поддерживает склад метаданных, который является основой для всех процессов в хранилище и для обеспечения конечных пользователей доступом к информации в нем.
Основные характеристики хранилищ данных
- Данные организованы по предметным областям, например, в информационном хранилище железнодорожной компании предметная область «Поезда» содержит все данные о движении составов, полученные из различных оперативных систем компании.
- Данные, поступающие в хранилище из оперативных приложений, необходимо привести к некоторому общему формату, т.е. интегрировать. Возможно, потребуется произвести «расчистку» и «проверку» оперативной информации, полученной в режиме реального времени. Данные могут быть избыточными, храниться одновременно в нескольких местах, быть синхронизированными или несинхронизированными между собой и иметь противоречивое представление. Например, в отделениях международного банка в разных странах сведения о счетах могут храниться в совершенно различных базах данных и отражать, естественно, состояние дел в национальной валюте. Для проведения общего анализа эти данные необходимо привести к одной и той же валюте и представить единый обменный курс на определенный момент времени. Должны быть устранены такие аномалии, как повторение одного и того же имени у разных данных, использование разных имен для одних и тех же данных и т.д.
- Информация в хранилище данных стабильна. Оперативные, или трансакционные данные – это детальная информация о сделанных заказах, выписанных счетах, денежных переводах. Они предназначены для приложений, которые выполняют повседневные задачи, существуют в реальном времени (каждое последующее значение заменяет предыдущее), тесно привязаны к конкретному приложению. В отличие от оперативных данных информация в хранилище меняется согласно регламенту. Она загружается в хранилище через определенные промежутки времени и является непротиворечивой благодаря проведенным преобразованиям оперативных данных.
- Информация отражает историю изменения данных. Хранилище данных представляет собой последовательность моментальных снимков предметной области через определенные, заранее заданные промежутки времени. Хранилище может пополняться ежедневно, еженедельно или ежемесячно – это определяется в процессе его создания. Главное, что аналитик получает не только абсолютное значение величины, но и возможность проследить историю ее изменения за определенный период времени.