Хранилища данных - статьи
Архитектура современной информационно-аналитической системы
Аннотация:
В данной статье рассматривается архитектура современной информационно-аналитической системы с точки зрения технологических процессов. Приводятся рекомендации по реализации этой архитектуры на примере различных подходов и инструментальных средств.
Предисловие.
В современном деловом мире в любых областях деятельности объемы информации, с которыми приходится сталкиваться организациям, просто колоссальны. И от того, в какой степени организация способна извлечь максимум из имеющейся в ее распоряжении информации, зависит успех. Залог успеха - в построении эффективной информационно-аналитической системы (ИАС).
Использование в инфраструктуре предприятия информационно-аналитической системы объясняется рядом причин: стремлением к общей реорганизации бизнес-процессов, желанием повысить качество деловой информации, необходимостью поддержки стратегического планирования и достижения высокоэффективных решений.
Состав архитектуры современной ИАС
Задачами любой информационно-аналитической системы являются эффективное хранение, обработка и анализ данных. В настоящее время накоплен значительный опыт в этой области.
Эффективное хранение информации достигается наличием в составе информационно-аналитической системы целого ряда источников данных. Обработка и объединение информации достигается применением инструментов извлечения, преобразования и загрузки данных. Анализ данных осуществляется при помощи современных инструментов делового анализа данных.
Архитектура современной информационно-аналитической системы организации в обобщенном виде представлена на рис. 1.
 |
|
| Рис.1. Архитектура современной информационно-аналитической системы. Разнообразие источников данных и необходимость их использования в каждом конкретном случае объясняется потребностью по-разному хранить информацию в зависимости от стоящих перед организацией задач |
/p> Приведенная архитектура демонстрирует длинный путь, который проходят данные, прежде чем попасть на стол аналитику.
Разнообразие источников данных и необходимость их использования в каждом конкретном случае объясняется потребностью по-разному хранить информацию в зависимости от стоящих перед организацией задач. Если попытаться классифицировать источники данных по типам и назначению, то каждый из них можно условно отнести к одной из трех групп: транзакционные источники данных, хранилища данных, витрины данных.
Данные в систему могут заноситься как вручную, так и автоматически. На этапе первоначальной фиксации данные поступают через системы сбора и обработки информации в так называемые транзакционные базы данных. Транзакционных баз данных в организации может быть несколько.
Поскольку транзакционные источники данных, как правило, не согласованы друг с другом, то для анализа таких данных требуется их объединение и преобразование. Поэтому на следующем этапе решается задача консолидации данных, их преобразования и очистки, в результате чего данные поступают в так называемые аналитические базы данных. Аналитические базы данных, будь то хранилища данных или витрины данных, и есть те основные источники, из которых аналитик черпает информацию, используя соответствующие инструменты делового анализа.
При этом информационно-аналитическая система среднего и крупного предприятия или организации должна обеспечивать пользователям доступ к аналитической информации, защищенной от несанкционированного использования и открытой как через внутреннюю сеть организации, так и пользователям сети интранет и Интернет. Таким образом, архитектура современной информационно-аналитической системы насчитывает следующие уровни:
1) сбор и первичная обработка данных;
2) извлечение, преобразование и загрузка данных;
3) складирование данных;
4) представление данных в витринах данных;
5) анализ данных;
6) Web-портал.
Рассмотрим перечисленные уровни архитектуры и остановимся на примерах типовых инструментов, которые могут служить основой для построения каждого из них.
Сбор и первичная обработка данных
К первому уровню архитектуры ИАС относятся упоминавшиеся уже источники данных, как правило именуемые транзакционными или операционными источниками (базами) данных, являющимися частью так называемых OLTP-систем (online transactional processing). Транзакционные базы данных включают в себя источники данных, ориентированные на фиксацию результатов повседневной деятельности организации. Требования, предъявляемые к транзакционным базам данных, обусловили их следующие отличительные особенности: способность быстро обрабатывать данные и поддерживать высокую частоту их изменения, ориентированность, как правило, на обслуживание одного процесса, а не всей деятельности организации в целом.
Примерами здесь могут служить базы данных, которые используются в биллинговых системах операторами сотовой связи, в автоматизированных банковских системах коммерческих и государственных банков, в Интернет-магазинах.
Информация в таких базах данных ориентирована на конкретное приложение и управляется транзакциями, она сильно детализирована и часто корректируется.
Транзакционные базы данных отлично справляются с валом повседневной информации, которая должна рутинно обрабатываться каждый день, но не позволяют получить общую картину положения дел в организации в целом и редко могут служить источниками для проведения комплексного анализа.
Итак, совокупность транзакционных источников данных образует нижнее звено архитектуры информационно-аналитической системы любой организации. В дальнейшем будем исходить из того, что ИАС предприятия строится на основе уже имеющихся на вооружении систем сбора и первичной обработки данных, включающих транзакционные источники данных.
Извлечение, преобразование и загрузка данных
Процесс извлечения, преобразования и загрузки данных поддерживается так называемыми ETL-инструментами (extraction, transformation, loading), предназначенными для извлечения данных из различных транзакционных источников нижнего уровня, их преобразования и консолидации, а также загрузки в целевые аналитические базы данных - хранилища данных и витрины данных. На этапе преобразования устраняется избыточность данных, проводятся необходимые вычисления и агрегирования. Трехступенчатый процесс извлечения, преобразования и загрузки должен осуществляться на основе установленного регламента.
Складирование данных
К третьему уровню архитектуры ИАС относятся источники данных, которые называют хранилищами данных (от англ. Data Warehouse). Хранилища данных включают в себя источники данных, ориентированные на хранение и анализ информации. Такие источники могут объединять информацию из нескольких транзакционных систем и позволяют анализировать ее в комплексе с применением современных программных инструментов делового анализа данных.
Согласно определению родоначальника идеи складирования данных Б. Инмона, хранилище данных является предметно-ориентированной, интегрированной, некорректируемой, зависимой от времени коллекцией данных, предназначенной для поддержки принятия управленческих решений.
Характерными особенностями хранилищ данных являются: относительно редкая корректируемость большинства данных, обновляемость данных на периодической основе, единый подход к поименованию и хранению данных вне зависимости от их организации в исходных источниках.
Хранилище данных, являясь одним из главных звеньев архитектуры ИАС любой средней или крупной организации, выступает в качестве основного источника данных для всестороннего анализа всей имеющейся в организации информации.
Представление данных в витринах данных
К четвертому уровню архитектуры ИАС относятся источники данных, называемые витринами данных (data marts), предназначенные для проведения целевого делового анализа. Витрины данных строятся, как правило, на основе информации из хранилища данных, но могут также формироваться из данных, взятых непосредственно из транзакционных систем, когда хранилище данных в организации по каким-либо причинам не реализовано.
По типу хранения информации витрины подразделяются на реляционные и многомерные. Витрины первого типа организуются в виде реляционной базы данных со схемой "звезда", где центральная таблица, таблица фактов, предназначенная в основном для хранения количественной информации, связана с таблицами-справочниками.
Многомерные витрины организуются в виде многомерных баз данных OLAP (Online Analytical Processing), где справочная информация представляется в виде измерений, а количественная - в виде показателей. Информация в многомерной витрине данных представляется в терминах бизнеса в виде, максимально доступном конечным пользователям, что позволяет существенно снизить время на получение требуемой для принятия решений информации.
С точки зрения пользователя, отличие витрин данных от хранилища данных заключается в том, что хранилище данных соответствует уровню всей организации, а каждая витрина обычно обслуживает уровень не выше отдельного подразделения и иногда может создаваться для индивидуального использования, отличаясь достаточно узкой целевой специализацией.
Отличие витрин данных от транзакционных баз данных заключается в том, что первые служат для удовлетворения потребностей конечных пользователей, не являющихся профессиональными программистами: аналитиков, менеджеров разных уровней, решающих различные задачи бизнеса. Транзакционные же базы данных используются в основном операторами, отвечающими за ввод и обработку первичной информации, а не за ее анализ, нацеленный на поддержку принятия решений.
Применение витрин данных, многомерных и реляционных, в сочетании с современными инструментами делового анализа данных позволяет превратить просто данные в полезную информацию, на основе которой можно принимать эффективные решения.
Анализ данных
К следующему уровню архитектуры ИАС организации относятся современные программные средства, именуемые инструментами интеллектуального или делового анализа данных (Business Intelligence Tools), или BI-инструменты.
BI-инструменты позволяют управленческому звену организации проводить всесторонний анализ информации, помогают успешно ориентироваться в больших объемах данных, анализировать информацию, делать на основе анализа объективные выводы и принимать обоснованные решения, строить прогнозы, сводя риски принятия неверных решений к допустимому минимуму.
Инструменты интеллектуального анализа данных используются конечными пользователями для доступа к информации, ее визуализации, многомерного анализа и формирования как предопределенных по форме и составу, так и произвольных отчетов, создаваемых управленцем или аналитиком (без программиста). Как уже было сказано, в качестве входной информации для делового анализа выступают не столько "сырые" данные из транзакционных систем, сколько заранее обработанные данные из хранилища или представленные в витринах данных.
Web-портал
В настоящее время российские компании, вслед за западными коллегами, все активнее начинают внедрять у себя различные Интернет-технологии. Уже сегодня все больше специалистов, работающих не только в сфере информационных технологий, начинают понимать выгоду от использования этих решений в целях повышения эффективности своего бизнеса. Проведение интеллектуального анализа данных с применением программных решений не только в локальной среде, но и в среде интранет и Интернет, открывает аналитикам новые возможности работы с данными.
Современные тенденции развития архитектуры информационно-аналитической системы базируются на применении Интернет-технологий.
Традиционный вид архитектуры ИАС в недавнем прошлом дополнился Web-порталом, постепенно приобретающим все более весомую роль в архитектуре ИАС. Возможность доступа к информации через привычный Web-браузер позволяет экономить на затратах, связанных с закупкой и поддержкой настольных аналитических приложений для большого числа клиентских мест. Реализация Web-портала позволяет снабжать аналитической информацией как пользователей внутри офиса, так и мобильных пользователей-аналитиков в любой точке мира, подключенных к порталу через Интернет.
Реализация архитектуры ИАС
Сегодня на рынке информационных технологий представлен широкий спектр инструментальных средств, предназначенных для быстрой реализации компонентов архитектуры ИАС. Использование таких инструментов позволяет не разрабатывать аналитические приложения заново, а воспользоваться готовыми современными технологиями и, следовательно, сократить время и затраты на их создание.
Решение задачи обеспечения пользователей информацией в ИАС определяется в основном правильным подбором инструментов делового анализа. Но немаловажным является и выбор инструментов поддержки процессов извлечения, преобразования, загрузки и хранения данных.
При реализации ИАС предприятия могут быть использованы программные решения как разных фирм-производителей - смешанные решения, так и одного производителя - платформенно-базированные решения. И в первом и во втором случае имеются свои преимущества и недостатки. Поэтому выбор инструментов для архитектуры ИАС, несмотря на их многообразие, задача не из простых.
На рынке не существует одного производителя, предлагающего лучшие решения всех требуемых для построения ИАС программных компонентов. Поэтому совместное использование наиболее подходящих решений от различных производителей позволяет повысить функциональную мощность ИАС. Критериями оценки инструментов могут выступать как их технические и стоимостные характеристики, так и скорость внедрения, а также уместность использования в каждом конкретном случае.
Однако использование продуктов от разных производителей приводит к значительному усложнению архитектуры системы из-за разнородности инструментальных решений. Это усложнение объясняется необходимостью интегрирования не связанных друг с другом инструментальных решений. Кроме того, администрирование системы оказывается непростой задачей, учитывая несогласованность данных и метаданных, управляемых отдельными, не связанными друг с другом модулями платформ от разных производителей.
Рассмотрим два подхода к реализации архитектуры ИАС: основанный на платформенно-базированном решении, представленном одним производителем, и основанный на смешанном решении, представленном несколькими производителями.
Реализация архитектуры ИАС на основе платформенно-базированного решения
Для начала рассмотрим вариант реализации архитектуры ИАС, когда используются компоненты одного производителя - поставщика платформы. Если пользоваться терминологией исследовательского центра Gartner, платформенно-базированное решение необходимо искать среди фирм - производителей так называемых BI-платформ (Business Intelligence Platforms). Данный сегмент рынка информационных технологий представлен 16 компаниями, приводимыми здесь в алфавитном порядке: AlphaBlox, Arcplan, CA, Comshare, Crystal, Hyperion, Info Builders, Microsoft, Microstrategy, Oracle, PeopleSoft, ProClarity, Sagent, SAP, SAS, Whitelight. Среди них выделяются следующие семь лидеров и претендентов на лидерство в данной области: Microsoft, SAS, Oracle, SAP, PeopleSoft, Info Builders, Hyperion (по материалу Gartner Research, "BI Magic Quadrants: A 'Recession-Proof' Market Challenged", 17.07.2001). Двое из перечисленных производителей, Microsoft и Oracle, в состоянии реализовать все уровни ИАС своими силами, не прибегая к инструментам третьих фирм. Решающий критерий, выделяющий этих производителей, - наличие собственной СУБД.
Рассмотрим пример реализации ИАС организации инструментами Oracle. Соответствующий перечень продуктов представлен в табл. 1.
Таблица 1
| Компоненты ИАС | Назначение продукта | Название продукта | ||
| Анализ данных | в сетях Интранет и Интернет | Web-портал | Jracle Portal | |
| Регламентированная отчетность в Web | Oracle Reports Services | |||
| Произвольные запросы в Web | Oracle Discoverer | |||
| Многомерный анализ (OLAP) в Web | Oracle JDeveloper с компонентом Oracle Business Inteligence Beans |
|||
| в локальной сети (LAN) |
Регламентированная отчетность | Oracle Reports | ||
| Произвольные запросы | Oracle Discoverer | |||
| Многомерный анализ (OLAP), инстремет разработки клиентских мест | Oracle JDeveloper с компонентом Oracle Business Inteligence Beans |
|||
| Извлечение знаний (data mining) | Oracle Data Mining Suite | |||
| Извлечение, преобразование, загрузка и храниение данных |
Витрины данных | многомерные | Система управления многомерными витринами данных (OLAP) | Oracle OLAP |
| Проектирование и создание многомерных витрин данных (OLAP) |
||||
| реляционные | СУБД для реляционных витрин данных | Oracle Database | ||
| Проектирование и создание реляционных витрин данных |
Oracle Warehouse Builder | |||
| Хранилища данных | ETL - компонент для хранилища данных | Oracle Warehouse Builder | ||
| СУБД для хранилища данных | Oracle Database | |||
| Проектирование и создание хранилища данных | Oracle Warehouse Builder |
Инструменты для извлечения, преобразования, загрузки и хранения данных (ETL)
Oracle Warehouse Builder - это среда для разработки и реализации хранилищ и витрин данных. Построенный на базе открытой архитектуры Common Warehouse Model, Warehouse Builder обеспечивает решение целого ряда задач. К ним относятся проектирование, создание и администрирование хранилища данных, разработка и генерация процедур извлечения, преобразования и загрузки данных из различных источников, управление метаданными и интеграция инструментальных средств доступа.
Oracle Database, система управления базами данных, - основа платформенного решения компании Oracle. Oracle Database используется в качестве СУБД для хранилищ и реляционных витрин данных.
Для многомерных витрин данных используется Oracle OLAP, неразрывно связанный с СУБД Oracle Database. Развиваемая до недавнего времени линейка OLAP-продуктов под названием Express в настоящее время переписывается на программном уровне под новую платформу Oracie9i и станет частью Oracle OLAP. Впервые об этом было объявлено на конференции Оracle OpenWorld 2000.
Инструменты делового анализа
Платформа фирмы Oracle в части инструментов для делового анализа данных отличается не столько готовыми настольными инструментальными средствами с предопределенным интерфейсом и набором функциональных возможностей, сколько наличием мощного инструментария для разработки клиентских мест конечных пользователей. Это позволяет создавать тонко настроенные аналитические приложения для каждого конечного пользователя в отдельности.
Произвольные запросы и регламентированные формы отчетов
За регламентированную отчетность в платформе Oracle отвечает продукт Oracle Reports - визуальное средство разработки и публикации стандартных форм отчетов. Наличие визуального интерфейса и встроенных мастеров (wizards) позволяет сократить время разработки сложных форм отчетов. Формы отчетов на базе Oracle Reports готовятся квалифицированными специалистами, а уже сформированные отчеты могут запускаться конечными пользователями-непрограммистами.
За нерегламентированную отчетность отвечает продукт Oracle Discoverer - инструмент для формирования произвольных форм отчетов, построения нерегламентированных запросов и анализа данных. Он обеспечивает доступ к информации, содержащейся в реляционных хранилищах и витринах данных, а также в транзакционных системах, в том числе не обязательно работающих под управлением СУБД Oracle.
Для того чтобы конечный пользователь- непрограммист смог самостоятельно просматривать интересующие его срезы информации, в программном продукте используется слой метаданных, описываемый разработчиком, позволяющий скрыть от пользователей сложность работы с данными на программном уровне, представив информацию на деловом языке.
Многомерный анализ данных
Oracle OLAP предназначен для построения аналитических систем, основанных на принципах многомерной технологии. Этот компонент позволяет хранить и обрабатывать в одной и той же базе данных реляционную и многомерную информацию. Средства Oracle9i Java OLAP API позволяют поддерживать многомерную модель, предоставляя набор математических, статистических и финансовых функций для решения задач прогнозирования, планирования, оценки ситуации и выявления тенденций. По существу, OLAP API является созданным на Java объектно-ориентированным программным интерфейсом для OLAP-запросов. Разработчикам OLAP-приложений для Web компания Oracle предлагает воспользоваться программным модулем Oracle JDeveloper с компонентом Oracle Business Intelligence Beans.
Разведка данных
Инструментальная среда Oracle Data Mining (прежнее название Darwin) предназначена для анализа данных методами, относящимися к технологии разведки данных. Oracle Data Mining поддерживает такие этапы технологии извлечения знаний, как постановка задачи, подготовка данных, автоматическое построение моделей, анализ и тестирование результатов, использование моделей в реальных приложениях.
Web-портал
Программный продукт Oracle Portal позволяет представить отдельные компоненты делового анализа данных в Web-среде как одно целое. Oracle Portal предназначен для быстрого развертывания информационного портала организации и используется в качестве готового решения. Основная цель его использования - снизить объем ручного программирования за счет использования готовых компонентов информационного портала, а также визуальных интерактивных средств разработки (wizards).
В рамках Oracle Portal имеется возможность самостоятельно создавать и поддерживать порталы без привлечения Web-дизайнеров.
Несмотря на, казалось бы, очевидные преимущества реализации ИАС на основе платформенно-базированного решения, нужно вспомнить о ряде ограничений, когда такой подход к созданию ИАС не совсем применим.
Очень редко организация начинает строить ИАС с нуля. В реальных условиях желание использовать комплексное решение одной фирмы-производителя наталкивается на стремление сохранить уже имеющиеся наработки, представленные в виде отдельных систем, выполненных в разное время и в различных средах. При этом отказ от действующих систем зачастую невозможен, а их перевод на платформу выбранного производителя ведет к значительным затратам.
Кроме того, комплексное решение одного производителя на сегодняшний день СУБД-зависимое. Это объясняется тем, что основные производители программного обеспечения для ИАС стремятся к максимальной интеграции предлагаемых ими решений. Поэтому желание использовать один или несколько инструментов заставляет организацию использовать остальные продукты этого поставщика, что не всегда соответствует желанию заказчика. К примеру, инструменты делового анализа данных могут быть неразрывно интегрированы с СУБД.
Не стоит также забывать о рисках: комплексное решение от одного производителя увеличивает риск, связанный с долгосрочными перспективами развития ИАС. Как известно, ставка на одну лошадь может быть слишком рискованной.
Реализация архитектуры ИАС на основе смешанного решения
Учитывая упомянутые нами задачи корпоративной информационно-аналитической системы - объединение, хранение и анализ информации, чтобы избежать процесса трудоемкой интеграции отдельных продуктов для смешанного решения, попытаемся выделить группы программных продуктов, способные реализовать архитектуру ИАС крупными блоками.
В качестве таких групп для смешанного решения могут выступать инструменты делового анализа и СУБД.
В терминологии Gartner интегрированные инструменты делового анализа данных относятся к так называемым BI-пакетам (Enterprise BI Suites), образующим отдельный сегмент рынка ИТ. Этот сегмент представлен 14 компаниями-производителями: Actuate, AlphaBlox, Business Objects, Brio, CA, Cognos, Crystal, Hummingbird, Information Builders, Microsoft, MicroStrategy, Oracle, Sagent, Viador. Две компании - Cognos и Business Objects - лидируют в течение ряда лет (материалы Gartner Research, BI Magic Quadrants: A 'Recession-Proof' Market Challenged, 17.07.2001).
Для примера реализации смешанного решения используем инструменты делового анализа данных фирмы Cognos и СУБД фирмы Oracle. Соответствующий перечень продуктов для примера реализации ИАС на основе смешанного решения представлен в табл. 2.
Табл.2
| Компоненты ИАС | Назначение продукта | Название продукта | Платформа | ||
| Анализ данных | в сетях Интранет и Интернет | Web-портал | Upfront | Cognos Series 7 | |
| Регламентированная отчетность в Web | Impromptu Web Reports | ||||
| Произвольные запросы в Web | Congos Query | ||||
| Многомерный анализ (OLAP) в Web | PowerPlay Enterprise Server | ||||
| Визуализация и выявление приоритетов в Web | VisualizerWeb | ||||
| в локальной сети (LAN) | Регламентированная отчетность и произвольные запросы | Impromptu | Cognos Series 7 | ||
| Многомерный анализ (OLAP) | PowerPlay | ||||
| Извлечение значений (data mining) | 4Thought, Soenario | ||||
| Визуализация и выявление приоритетов | Visualizer | ||||
| Единый модуль описания мегаданных | Architect | ||||
| Извлечение, преобразование, загрузка и храниение данных |
Витрины данных | многомерные | Система управления многомерными витринами данных (OLAP) | PowerPlayTransformation Server | Cognos Series 7 |
| Проектирование и создание многомерных витрин данных (OLAP) | PowerPlayTransformer | ||||
| ET -компонент для многомерных витрин данных | DecisionStream | ||||
| реляционные | ET -компонент для реляционных витрин данных | DecisionStream | |||
| СУБД для реляционных витрин данных | Oracle Database | Oracle9i | |||
| Проектирование и создание реляционных баз данных | Oracle Warehouse Builder | ||||
| Хранилища данных | ETL - компонент для хранилища данных | Oracle Warehouse Builder | Oracle9i | ||
| СУБД для хранилища данных | Oracle DataBase | ||||
| Проектирование и создание хранилища данных | Oracle Warehouse Builder |
/p>
Следует отметить, что BI-пакет Cognos включает в себя набор интегрированных друг с другом BI-инструментов. Тесная интеграция программных компонентов в единую пакетную платформу достигается за счет того, что BI-инструменты объединены общими модулями описания метаданных, разграничения прав доступа, а также за счет Web-портала - единой точки входа Интернет-пользователей в среду для работы с корпоративной информацией. Полнота решения, позволяющая претендовать на более значительный по сравнению с занимаемым рынок BI-платформ, достигается использованием ETL-инструмента для создания витрин данных (реляционных и многомерных).
Витрины данных, многомерные и реляционные, создаются инструментами DecisionStream и PowerPlay Transformer. Для интеллектуального анализа данных используются инструмент генерации отчетов Impromptu, инструмент многомерного анализа - PowerPlay, инструменты разведки данных - Scenario и 4Thought, инструмент визуализации данных Visualizer. В качестве программного модуля для описания метаданных выступает модуль Architect - единый для всех инструментов анализа данных. Интернет-портал, помогающий мобильным пользователям подключиться к анализу корпоративной информации, организуется при помощи инструмента Upfront.
Рассмотрим подробнее инструменты Cognos, отвечающие за поддержку процессов извлечения, преобразования, загрузки, хранения и делового анализа данных (рис. 2).
 |
| Рис. 2. Пакет делового анализа Cognos |
Аналитики редко работают с "сырыми" данными из транзакционных баз данных, предпочитая черпать информацию из витрин и хранилищ данных. Исходя из этого пакетная платформа Cognos включает также инструмент предварительной обработки информации для последующего использования, что обеспечивает законченность и полноту предлагаемого решения.
При помощи инструмента DecisionStream происходит предварительная подготовка данных, то есть извлечение, преобразование и загрузка данных в аналитические источники данных (многомерные и реляционные) для эффективной работы инструментов OLAP-анализа, генераторов отчетов, инструментов разведки данных, визуализации и выявления приоритетов.
DecisionStream способен подключаться к нескольким источникам информации реляционного и нереляционного формата, объединять и преобразовывать данные и на их основе создавать витрины данных в виде реляционной схемы "звезда" (например, в базе данных Oracle), а в дополнение представлять данные в виде многомерной модели, где информация представляется в виде измерений и показателей. Возможность автоматизации создания, наряду с реляционной базой данных, ее многомерной модели выгодно отличает программный продукт Cognos DecisionStream от обычных инструментов извлечения, преобразования и загрузки данных.
Способность объединения разрозненных данных в единый источник хранения информации, их обработка и связанное со всем этим увеличение скорости доступа к данным делают DecisionStream незаменимым средством для информационно-аналитических систем, где требуется быстрый отклик системы на запросы пользователя в получении данных для изучения и анализа.
Описание метаданных
Инструмент описания метаданных Cognos Architect отвечает требованиям централизованного управления метаданными, что обеспечивает интеграцию инструментов Cognos. Architect является центральным ядром создания и управления всеми метаданными и бизнес-правилами организации. Таким образом, описанные в одной модели инструмента Architect метаданные становятся доступны в любом BI-инструменте Cognos. Инструментальный модуль Architect позволяет описать доступ к источникам информации, логические бизнес-представления, масштабы каждого аналитического приложения.
Результатом унифицированного описания метаданных становится правильное и непротиворечивое представление данных во всей организации.
Инструменты делового анализа
Инструменты делового анализа данных компании Cognos позволяют проводить весь спектр делового анализа: строить запросы и формировать формы отчетов на реляционных данных, проводить OLAP-анализ на многомерных данных, осуществлять разведку данных (data mining), а также визуализировать информацию и выявлять приоритеты.
Произвольные запросы и регламентированные формы отчетов
Решения Cognos в области построения запросов и работы с отчетами позволяют обеспечить пользователей отчетами в необходимом формате и на требуемой платформе (Windows, Excel, Web). Для руководителей, принимающих решения, средства Cognos обеспечивают доступ к информации в удобной для них форме (таблицы, диаграммы, гистограммы, трехмерные графики и т. д.), а для аналитиков предоставляется возможность просматривать информацию практически любого уровня сложности, включая создание запросов, исследование данных и навигацию в Web. Таким образом, в зависимости от задач, стоящих перед конечным пользователем, подбираются соответствующие инструментальные средства. Ключевым продуктом для регламентированной отчетности выступает Cognos Impromptu, для нерегламентированных запросов - Cognos Query.
Многомерный анализ данных
Компания Cognos имеет в своем распоряжении фактически одно из самых лучших OLAP-решений, существующих на сегодняшний день на рынке инструментов аналитической обработки данных. Согласно результатам исследования рынка OLAP-инструментов (www.olapreport.com), компания Cognos с инструментом PowerPlay уверенно занимает вторую по величине долю мирового рынка OLAP-систем после Hyperion.
Основная особенность OLAP-инструмента компании Cognos заключается в эффективной автоматизации процесса создания OLAP-приложений, что позволяет значительно сократить срок разработки для систем практически любой сложности, используя лишь внутренние людские ресурсы организации.
Сложность задачи и выбранная конфигурация инструмента PowerPlay определяет масштаб создаваемых OLAP-систем.
С помощью инструмента PowerPlay могут разрабатываться системы для одного пользователя, группы пользователей внутри департамента, нескольких отделов, а также системы масштаба организации, пользователями которых могут быть даже сторонние лица или организации, авторизованные для работы с информацией.
Решения Cognos на базе OLAP-технологии открывает Windows-, Excel- и Web-пользователям удобный доступ к представленной на их деловом языке многомерной информации, предназначенной для просмотра, формирования отчетов и проведения OLAP-анализа. Инструмент Cognos PowerPlay позволяет исследовать данные под разными углами зрения, обеспечивая многомерный анализ данных.
Благодаря интеграции BI-инструметов компании Cognos многомерные данные могут быть использованы для дальнейшего изучения инструментами разведки данных, визуализации и выявления приоритетов.
Разведка данных
Решения Cognos в области разведки данных (data mining) помогают исследовать важные корреляции в данных, обнаруживать скрытые тенденции и строить прогнозы.
Инструменты разведки данных Scenario и 4Thought помогают легко определить, какие факторы влияют на ключевые показатели бизнеса, например на прибыль, объемы продаж, лояльность целевой группы покупателей и др.
Инструмент разведки данных Scenario позволяет оценить влияние различных факторов на выбранный в процессе анализа целевой показатель. Результаты анализа представляются в виде классификационных и регрессионных деревьев, именуемых также деревьями решений. При этом осуществляется поиск исключений, направленный на выявление элементов, статистически не удовлетворяющих обнаруженным характерным взаимосвязям в данных.
Инструмент разведки данных 4Thought, использующий нейросетевую технологию, позволяет строить сложные нелинейные модели, устойчивые по отношению к неточным, "зашумленным" и неполным данным. 4Thought доступен даже тем менеджерам, которые детально не знакомы со статистическими методами оценки данных, и позволяет им проводить на имеющихся выборках данных анализ "что - если", строить прогнозы.
Одно из достоинств инструментов Scenario и 4Thought состоит в том, что в качестве входной информации для разведки данных эти инструменты способны брать данные практически из любой аналитической многомерной базы данных: Cognos PowerCubes, Oracle Express, SAP BW, Hyperion Essbase, IBM DB2 OLAP Server, Microsoft SQL Server OLAP Services, NCR TeraCube.
Обнаруженные благодаря использованию инструментов разведки данных скрытые тенденции могут служить основой для принятия квалифицированных управленческих решений и, следовательно, являться предпосылкой к успешному проведению стратегического планирования.
Визуализация информации
Известно, что графическая информация в отличие от текстовой гораздо быстрее воспринимается человеком. Представление данных в интуитивно понятном для руководителя виде позволяет ориентироваться в больших объемах информации, отсеивая ненужную.
Решения Cognos в области визуализации данных и выявления приоритетов позволяют в процессе просмотра и анализа выделить из большого объема данных лишь ключевую информацию и сделать на ней акцент. Основным инструментом Cognos для визуализации данных и выявления приоритетов в среде Windows и Web является Visualizer. Расширенный набор визуальных шаблонов представления информации - от двухмерных и трехмерных диаграмм и графиков для количественных показателей до географических карт для отображения региональных зависимостей, а также специальные семафоры и визуальные элементы, использующиеся для выявления приоритетов, позволяют сократить время на поиск требуемой информации.
Результаты, полученные в процессе визуализации данных и выявления приоритетов, являются основой для принятия эффективных решений.
Web-портал
Инструментальные средства Cognos для Интернета позволяют пользователям подготавливать отчеты и формировать запросы к базам данных, строить прогнозы, работать с информацией по уже готовым формам отчетов, проводить полноценный OLAP-анализ многомерных данных, визуализировать информацию и выявлять приоритеты (scorecarding).
Причем все перечисленные возможности по работе с информацией доступны пользователям без услуг программистов.
Инструментом создания и настройки Интернет-портала для платформы Cognos является модуль Upfront. Создаваемый с помощью Upfront портал может быть интегрирован в существующий у организации портал, в интранет и/или экстранет-решения (B2B), а также использован отдельно. Создание Web-портала осуществляется настройкой среды публикации и не требует программирования. Таким образом, модуль Upfront предоставляет администраторам централизованное управление через настраиваемый интерфейс, а конечным пользователям, находящимся в пределах или вне сетевого экрана (firewall), - единую точку входа, через которую осуществляется доступ к информации, имеющей различные форматы представления. При этом любой пользователь, имеющий установленный Интернет-браузер и доступ к корпоративной информации, получает возможность работать с заранее подготовленными формами отчетов по реляционным или многомерным данным, а также самостоятельно формировать и публиковать отчеты для личного или совместного использования. Помимо возможности манипулирования реляционными данными и OLAP-анализа, пользователям доступен инструмент визуализации данных и выявления приоритетов. Upfront интегрирован с OLAP-инструментом PowerPlay, генератором отчетов Impromptu Web Reports, генератором Cognos Query и инструментом визуализации и выявления приоритетов Visualizer Web. Кроме того, в портале без дополнительных настроек сохраняется возможность работать с документами в привычных для пользователя форматах Excel, Word, PDF.
Заключение
Итак, при реализации ИАС на основе смешанного решения, чаще всего используемого на практике, водоразделом по поставщикам может служить деление продуктов по принципу принадлежности к уровням архитектуры ИАС. При этом группа инструментов анализа данных может быть независимой от группы инструментов извлечения, преобразования, загрузки и хранения, то есть каждая из этих групп может быть представлена отдельным производителем.
Инструменты второй группы целесообразно выбирать от поставщиков СУБД, а инструменты делового анализа - от поставщиков, специализирующихся на спектре инструментов делового анализа данных.
Очевидно, что при выборе программных средств для реализации ИАС в каждом конкретном случае нужно искать некое сбалансированное решение-компромисс. При этом окончательное решение, какой из двух подходов использовать, платформенно-базированный или смешанный, остается за директором информационной службы и обычно осуществляется с привлечением консультантов на основе оценки технико-экономических показателей.
Литература
1. Inmon W. H. Building the Data Warehouse. New York: John Wiley & Sons, Inc.
2. E. F. Codd, S.B.Codd. Providing OLAP. On-line Analytical Processing to User-Analists: An IT Mandate. C. T. Salley, E. F. Codd & Associates, 1993
3. R. Kimball. The Data Warehouse Toolkit. Practical Techniques for Building Dimansional Data Warehouses.
Сведения об авторах:
Авторы работают в дирекции по консалтингу и методологии создания программного обеспечения информационных систем компании ООО ИК СИБИНТЕК, г. Москва.
Галахов Илья Владимирович - начальник управления,
Волков Илья Юрьевич - главный специалист.
Другие статьи авторов:
[]
[]
[]
