Корпоративная BI-архитектура должна быть разработана после того, как определены BI-потребности пользователей, но до выбора BI-инструментов. Архитектура Business Intelligence определяет компоненты доставки BI-информации и компоненты BI-технологии (рис.1). После определения профилей использования BI-информации, может быть спроектирована архитектура доставки информации, основанная на этих профилях и на требуемом типе внедрения. Это может быть любая смесь настольных клиентов с сетевым подключением, настольных клиентов и сервера, тонких клиентов на основе Web и других мобильных вычислительных устройств. Архитектура доставки информации определит пользовательские интерфейсы, которые часто являются порталами с возможностью персонализации.
Архитектура BI-технологии определяет инфраструктуру и компоненты, необходимые для поддержки внедрения, эксплуатации и администрирования BI-инструментов и приложений, а также связи этих компонентов. Прочная архитектура BI-технологии будет состоять из двух важных слоев: инфраструктуры и прикладных сервисов (или функциональности). Инфраструктурный слой включает информационные ресурсы, администрирование и сети. На этом слое данные собираются, интегрируются и становятся доступными. Хранилище данных является одним из возможных компонентов инфраструктурного слоя. Для использования BI в оперативных системах может потребоваться оперативный склад данных (operational data store, ODS), возможно связанный с корпоративными структурами workflow. Прикладные сервисы включают все BI-сервисы, такие как механизмы запросов, анализа, генерации отчетов и визуализации, а также средства безопасности и метаданные.
Среда хранения и доступ к BI-информации
Помимо традиционных решений по хранилищам данных Oracle9i и MS SQL Server2000, растет число применений хранилищ ERP, например, SAP BW для R/3, или PeopleSoft Enterprise Warehouse с BI-приложениями Enterprise Performance Management. Однако в обоих случаях функциональность привязана к конкретным системам ERP, а следовательно ограничена.
Валерий Артемьев
24.04.2003
Термин «business intelligence» существует сравнительно давно, хотя у нас он мало употребляется из-за отсутствия адекватного перевода и четкого понимания, что, впрочем, характерно и для Запада. Попытаемся разобраться в его сути.
В русском языке слово «интеллект» однозначно понимается, как мыслительная способность человека. На первый взгляд неплохой перевод для термина Business intelligence предложен в [1] «интеллектуальный анализ данных», но сразу возникает вопрос, а имеется ли «неинтеллектуальный анализ данных».
На неопределенность обсуждаемого термина повлияла многозначность английского слова «intelligence»:
способность узнавать и понимать; готовность к пониманию; знания, переданные или приобретенные путем обучения, исследования или опыта; действие или состояние в процессе познания; разведка, разведывательные данные.
В русском языке слово «интеллект» однозначно понимается, как мыслительная способность человека. На первый взгляд неплохой перевод для термина Business intelligence предложен в [1] «интеллектуальный анализ данных», но сразу возникает вопрос, а имеется ли «неинтеллектуальный анализ данных». Пути языка неисповедимы, поэтому будем использовать и оригинал на английском и кальку «бизнес-интеллект».
Сегодня категории BI-продуктов включают: BI-инструменты и BI-приложения. Первые, в свою очередь, делятся на: генераторы запросов и отчетов; развитые BI-инструменты, — прежде всего инструменты оперативной аналитической обработки (online analytical processing, OLAP); корпоративные BI-наборы (enterprise BI suites, EBIS); BI-платформы. Главная часть BI-инструментов делится на корпоративные BI-наборы и BI-платформы. Средства генерации запросов и отчетов в большой степени поглощаются и замещаются корпоративными BI-наборами. Многомерные OLAP-механизмы или серверы, а также реляционные OLAP-механизмы являются BI-инструментами и инфраструктурой для BI-платформ. Большинство BI-инструментов применяются конечными пользователями для доступа, анализа и генерации отчетов по данным, которые чаще всего располагаются в хранилище, витринах данных или оперативных складах данных. Разработчики приложений используют BI-платформы для создания и внедрения BI-приложений, которые не рассматриваются как BI-инструменты. Примером BI-приложения является информационная система руководителя EIS.
Инструменты генерации запросов и отчетов
Генераторы запросов и отчетов — типично «настольные» инструменты, предоставляющие пользователям доступ к базам данных, выполняющие некоторый анализ и формирующие отчеты. Запросы могут быть как незапланированными (ad hoc), так и иметь регламентный характер. Имеются системы генерации отчетов (как правило, серверные), которые поддерживают регламентные запросы и отчеты. Настольные генераторы запросов и отчетов расширены также некоторыми облегченными возможностями OLAP. Развитые инструменты этой категории объединяют в себе возможности пакетной генерации регламентных отчетов и настольных генераторов запросов, рассылки отчетов и их оперативного обновления, образуя так называемую корпоративную отчетность (corporate reporting)[10]. В ее арсенал входят сервер отчетов, средства рассылки, публикации отчетов на Web, механизм извещения о событиях или отклонениях (alerts). Характерные представители — Crystal Reports, Cognos Impromptu и Actuate e.Reporting Suite.
OLAP или развитые аналитические инструменты
В основе технологии BI лежит организация доступа конечных пользователей и анализ структурированных количественных по своей природе данных и информации о бизнесе. BI порождает итерационный процесс бизнес-пользователя, включающий доступ к данным и их анализ, и тем самым проявление интуиции, формирование заключений, нахождение взаимосвязей, чтобы эффективно изменять предприятие в положительную сторону. BI имеет широкий спектр пользователей на предприятии, включая руководителей и аналитиков.
Business intelligence и Knowledge Management
Некоторые склонны весьма широко трактовать BI, включая в это понятие и технологию управления знаниями Knowledge Management (КМ), которая, однако больше связана с анализом неструктурированной или слабоструктурированной информации (например, HTML), которая не является предметом анализа BI-инструментов. KM обеспечивает категоризацию, разведку и семантическую обработку текстов, расширенный поиск информации и др. Технология BI имеет отношение к анализу фактографической структурированной (базы данных, плоские файлы и другие ODBC или OLE DB-источники данных) и квазиструктурированной информации (например, XML). Плотные стыки и пересечения возможны при подготовке справочной информации для анализа с помощью разведки (text mining) и очистки текста, а также при расширении поиска информации на аналитические БД. Корпорации IBM и Microsoft реализуют стратегии интеграции программных средств бизнес-интеллекта и инструментов управления знаниями, ставя своей целью создание нового поколения ПО, которое будет обрабатывать как структурированные, так и неструктурированные данные [2].
BI, EIS, DSS, электронный бизнес и коммерция
За последние 10 лет менялись названия и содержание информационно-аналитических систем от информационных систем руководителя (executive information systems, EIS) до систем поддержки принятия решений (decision support systems, DSS) и сейчас до систем бизнес-интеллекта.
Во времена больших ЭВМ и миникомпьютеров, когда у большинства пользователей не было прямого доступа к компьютерам, организации зависели от своих подразделений ИТ, которые обеспечивали их стандартными и параметрическими отчетами.
Но чтобы получить отчеты, отличные от стандартных, пользователям нужно было заказывать их разработку и ждать в течение нескольких дней или недель.
Приложения EIS были настроены на нужды руководителей и менеджеров и давали возможность получать основную агрегированную информацию о состоянии их бизнеса в виде таблиц или диаграмм. Обычно они включали регламентные запросы с набором параметров. Такие пакеты обычно разрабатывались силами своих подразделений ИТ. Для получения дополнительной информации и проведения дальнейшего анализа применялись другие приложения или создавались по заказу запросы или отчеты на SQL.
Приложения DSS первого поколения были пакетами прикладных программ с динамической генерацией SQL-скриптов по типу запрашиваемой пользователем информации. Они позволяли аналитикам получать информацию из реляционных БД, не требуя знания SQL. В отличие от EIS приложения DSS могут отвечать на широкий спектр вопросов бизнеса, имеют несколько вариантов представления отчетов и определенные возможности форматирования. Однако гибкость таких пакетов все же была ограничена из-за ориентации на конкретный набор задач.
С приходом ПК и локальных сетей следующее поколение приложений DSS строится уже на основе BI и позволяет пользователю-непрограммисту легко и оперативно извлекать информацию из различных источников, формировать собственные настраиваемые отчеты или графические представления, проводить многомерный анализ данных. Развитие систем бизнес-интеллекта прошло путь от «толстых» клиентов до Web-приложений, в которых пользователь ведет исследование с помощью браузера и может работать удаленно. Можно также создавать сценарии «что если» и коллективно просматривать и обновлять информацию.
Хотя пользователи корпоративной BI-информации традиционно находятся внутри предприятия, с распространением Web для электронного бизнеса, B2B, CRM и SCM BI-пользователи могут быть и внешними по отношению к предприятию [9], а в B2C, C2B и на торговых площадках пользователями BI являются пользователи Internet. BI и хранилища данных
Концепция, методы и средства хранилища данных (Data warehousing) определяют подходы и обеспечивают интеграцию, очистку, ретроспективное хранение информации, предназначенной для анализа [3], отвечают на вопрос «Как подготовить информацию для анализа?». Технология бизнес-интеллекта определяет методы и средства доступа и оперативного анализа информации в терминах предметной области. BI-средства не обязательно должны работать в инфраструктуре хранилища данных, но в этом случае проблема очистки и согласования данных возлагается на них, причем осуществлять эти операции придется на лету или же предварительно, но для обособленного информационного ресурса. Кроме того, есть эффект влияния на производительность и надежность оперативной системы обработки транзакций. Вот почему хорошей корпоративной практикой является выделение транзакционной и аналитической составляющих и применение для второй различных решений по хранилищу данных. Основные стыки идут не только на уровне информации, но и на уровне метаданных. В случае хранилища данных можно обеспечить централизованное управление метаданными.
Следует отметить, что часто термином «хранилище данных» обозначают систему поддержки принятия решений DSS или информационно-аналитическую систему, основанные на технологиях хранилища данных и бизнес-интеллекта [5,6].
В соответствии с пресловутыми магическими квадратами Gartner [8] технологическими лидерами EBIS являются сегодня Business Objects и Cognos, на границе между лидерами и претендентами — Information Builders, а Microsoft и Oracle — в претендентах. У одной нет самостоятельного OLAP-клиента, а используется функциональность сводной таблицы Excel200x, и нет генератора отчетов, у другой — пока нет замены для Oracle Express Analyzer. В группе «провидцев» выделяются Crystal Decisions на границе с лидерами. Также следует отметить Actuate и MicroStrategy.
Для BI-платформ практически нет лидеров, что свидетельствует о незрелости технологий и рынка. На границе этой области находится пока только Microsoft за счет решений по встраиванию OLAP-сервисов в MS SQL Server и развития их до аналитического сервера. Среди других претендентов — SAS Institute, далее плотную группу образуют Oracle, PeopleSoft и SAP. Hyperion в буквальном смысле на перепутье — SAS и Hyperion потеряли лидирующие позиции 2000 года. Среди провидцев следует отметить MicroStrategy. К сожалению, Crystal Decisions пока выступает как нишевой игрок.
Возможности пользователя по ведению многоаспектного оперативного анализа информации в терминах предметной области для поддержки принятия бизнес решений быстро расширяются. Параллельное движение от информационной анархии или диктатуры к информационной демократии [9] расширяет контингент пользователей business intelligence. На первое место выходит потребность гибкого доступа к корпоративным данным, а не просто потребность решить конкретную функциональную задачу. Снижается прямая зависимость от подразделений ИТ, изготавливающих по заказу отчеты или запросы. Возможен переход от статических регламентных отчетов к «живому отчету», а наиболее продвинутые аналитики получают возможность проводить кросс-тематический анализ и построение сводных отчетов с нуля, имея семантических слой, описывающий все показатели и разрезы корпоративной информации. Эти же средства могут использовать программисты для быстрого создания регламентных, параметрических отчетов. Web-доступ к BI (как к статическому, так и к динамическому контенту) позволит обеспечить реальное корпоративное информационное пространство и коллективную работу сотрудников.
Основным риском является слишком быстрые изменения в технологии BI, использование непроверенных решений и средств. Нужно отслеживать поставщиков, оценивать их устойчивость, направления развития, регулярно пробовать новые средства, проводить типизацию и унификацию BI. Другой риск связан с качеством данных — если они должным образом не преобразованы, не очищены и не консолидированы, то никакие «навороченные» возможности BI-инструментов или приложений не смогут увеличить достоверность данных. Ряд проблем могут возникнуть из-за не согласованности метаданных. В рамках большой корпорации эти вопросы решаются на инфраструктурном уровне путем создания корпоративного хранилища данных и централизованного управления метаданными. Создание хранилища поможет навести порядок в номенклатуре собираемых показателей, сборе данных, их распространении и санкционировании доступа. Сама BI-технология не в состоянии решить комплексно эти проблемы, а пренебрежение ими возвращает к информационной анархии и «силосным ямам данных» [9].
Впервые термин «business intelligence» был введен в обращение аналитиками Gartner в конце 1980-х годов, как «пользователецентрический процесс, который включает доступ и исследование информации, ее анализ, выработку интуиции и понимания, которые ведут к улучшенному и неформальному принятию решений». Позже в 1996 году появилось уточнение — «инструменты для анализа данных, построения отчетов и запросов могут помочь бизнес-пользователям преодолеть море данных для того, чтобы синтезировать из них значимую информацию, — сегодня эти инструменты в совокупности попадают в категорию, называемую бизнес-интеллект (Business Intelligence)».
BI как методы, технологии, средства извлечения и представления знаний
Согласно первоначальным определениям, BI — это процесс анализа информации, выработки интуиции и понимания для улучшенного и неформального принятия решений бизнес-пользователями, а также инструменты для извлечения из данных значимой для бизнеса информации. Надо отметить, что большинство определений трактуют «business intelligence» как процесс, технологии, методы и средства извлечения и представления знаний.
В статье Джонатана Ву (Jonathan Wu) «Business Intelligence: What is Business Intelligence?» , говорится: «Business Intelligence является процессом сбора многоаспектной информации об исследуемом предмете. Разработаны программные приложения, которые обеспечивают пользователей возможностью проводить такой процесс для ответа на вопросы бизнеса и для выявления значимых тенденций или шаблонов в исследуемой информации».
А вот определение, предложенное The Data Warehousing Institute : «Business intelligence имеет отношение к процессу превращения данных в знания, а знаний в действия бизнеса для получения выгоды. Является деятельностью конечного пользователя, которую облегчают различные аналитические и групповые инструменты и приложения, а также инфраструктура хранилища данных».
Глоссарий избегает напрямую говорить о business intelligence, а ведет речь об инструментах бизнес-интеллекта (business intelligence tools), но в контексте данных, информации и знаний: «Инструменты business intelligence — программное обеспечение, которое позволяет бизнес-пользователям видеть и использовать большое количество сложных данных.
Знания, основанные на данных, (data- based knowledge) получаются из данных с использованием инструментов business intelligence и процесса создания и ведения хранилища данных (data warehousing)». BI как знания о бизнесе и для бизнеса
Другая часть определений рассматривает business intelligence не как процесс, а как результат процесса извлечения знаний — как сами знания о бизнесе для принятия решений.
Следующее определение взято из глоссария к материалу «Impossible Data Warehouse Situations: Solutions from the Experts»: «Business Intelligence (BI) обычно описывает результат углубленного анализа детальных данных бизнеса, включает технологии баз данных и приложений, а также практику анализа. Иногда используется как синоним «поддержки принятия решений», хотя Business Intelligence понятие технически более широкое».
Другое определение подобного рода гласит: «Business Intelligence — знания, добытые о бизнесе с использованием различных аппаратно-программных технологий. Такие технологии дают возможность организациям превращать данные в информацию, а затем информацию в знания». Это определение четко разграничивает понятия «данные», «информация» и «знания». Данные понимаются как реальность, которую компьютер записывает, хранит и обрабатывает — это «сырые данные». Информация — это то, что человек в состоянии понять о реальности, а знания — это то, что в бизнесе используется для принятия решений. В процессе организации информации для получения знания часто применяют хранилища данных, а для представления этого знания пользователям — инструменты бизнес-интеллекта. Каждый год количество данных в мире удваивается, но от этого мало пользы, хотя их можно превратить в полезную информацию и знания — информация сама по себе не очень подходит для принятия решений в виду ее огромного объема. Средства бизнес-интеллекта и хранилищ данных призваны находить в кучах данных и информации то существенное, что реально прибавляется к нашим полезным знаниям. Они не пытаются полностью заменить человека, а используют для формирования гипотез интуицию, основанную на его подсознании и личном опыте.
Итак, бизнес-интеллект (business intelligence) в широком смысле слова определяет:
процесс превращения данных в информацию и знания о бизнесе для поддержки принятия улучшенных и неформальных решений; информационные технологии (методы и средства) сбора данных, консолидации информации и обеспечения доступа бизнес-пользователей к знаниям; знания о бизнесе, добытые в результате углубленного анализа детальных данных и консолидированной информации.
Среди BI-инструментов наибольший рост испытывают EBIS, что отражает усилившуюся конкуренцию в сегодняшней экономике. Использование инструментов для генерации запросов и отчетов, анализа данных снижается, организации обновляют их и заменяют корпоративными BI-наборами. Основные инструменты (незапланированные запросы, отчетность и основной OLAP-анализ) все еще остаются наиболее распространенными, удовлетворяя большинство потребностей. Также растет применение OLAP и других развитых BI-инструментов, подобных технологии data mining. Однако автономные инструменты data mining исчезают, эта технология поглощается и включается в другие BI-инструменты, например, в расширения СУБД.
Ожидается, что в течение 5 лет такие возможности, как XML для анализа (XML/A), BI Web-сервисы, совместная работа, беспроводные и мобильные коммуникации объединятся в виде сетей бизнес-интеллекта (BI networks), которые будут дополнены средствами мониторинга бизнес деятельности (Business activity monitoring, BAM).
XML для анализа. XML/A первоначально появился как коммуникационный протокол между разными BI-слоями (клиент, аналитический сервер, сервер БД). У XML/A имеются серьезные проблемы производительности — он создает большие накладные расходы и пока применим лишь для «облегченного» OLAP-клиента. Однако если эти проблемы будут решены, XML/A мог бы стать единым языком общения (lingua franca) между различными BI-средами, пересекая множество доменов, поставщиков и технологий, таким образом поддерживая BI networks.
BI Web-сервисы. Поставщики часто идентифицируют продукты EBIS как BI-порталы, потому что версии этих продуктов для Web обеспечивают точку входа к корпоративной информации. Фактически зачастую эти BI-порталы поддерживают также связи с неструктурированной информацией, хотя обычно для этого требуется некая система интеграции. Все более и более продукты EBIS фокусируются на внешних составляющих корпорации (extranet e-business intelligence). Новая компонентная архитектура SOA, ориентированная на сервисы (службы), является развитием серверов приложений и корпоративных порталов.
Эта новация связана также с технологиями J2EE и .NET. BI Web-сервисы делают BI-инструменты открытыми компонентами с известными интерфейсами и доступными во всех видах сетей. Увеличивается число поставщиков BI-продуктов, которые реализуют их в виде Web-служб, но чаще под соусом порталов.
Совместная работа. Добавление аннотаций к отчетам и разделение результатов анализа между несколькими пользователями возможно со времен EIS, однако сейчас эта функциональность популярна и во многие BI-приложения добавлены возможности workflow. Ожидается, что пользователи смогут работать одновременно с одной моделью или будет обеспечена связь разных BI-приложений в реальном времени.
Беспроводной и мобильный бизнес-интеллект. Другая устойчивая тенденция по доставке BI-информации видна у поставщиков, дающим возможность BI-продуктам доставлять отчеты посредством мобильной технологии, включая персональных электронных помощников PDA, Internet-телефонов и пейджеров.
Мониторинг бизнес-деятельности. Новая технология BAM является по существу операционным BI и сочетает интеграцию приложений реального времени с возможностями бизнес-интеллекта. Используя транзакционные данные, извлеченные из систем обработки транзакций в реальном времени, BI-инструменты анализируют эти данные и выдают предупреждения о критических событиях и информацию операционным пользователям, принимающим непосредственные решения. Литература
Корнеев В.В., Гареев А.Ф., Васютин С.В., Райх В.В. Базы данных. Интеллектуальная обработка информации. // М.: Нолидж, 2001 Салливан. Данных - больше, доступ - лучше //
Kimbal R. The Data Warehouse Toolkit: Practical Techniques for Building Dimensional Data Warehouses. John Willey&Sons, 1996 Thomsen E. OLAP Solutions: Building Multidimensional Information Systems. Wiley Computer Publishing, 1997 Спирли Э. Корпоративные хранилища данных. Планирование, разработка, реализация. Том.1: Пер. с англ. // М.: Вильямс, 2001 Архипенков С., Голубев Д., Максименко О. ХРАНИЛИЩА ДАННЫХ. От концепции до внедрения/ Под общ.
Ред. С.Я. Архипенкова // М.: ДИАЛОГ-МИФИ, 2002 В., Самойленко А. Data mining: учебный курс. // СПб: Питер, 2001 Inside Gartner Group (рус.), Дрезнер Х., Хостманн Б. и Ф. Байтендийк. Вниманию руководства: Обновленные Волшебные Квадраты Gartner для систем интеллектуальной поддержки бизнеса, 2003, февраль Liautaud B., Hammond M. e-Business Intelligence: Turning Information into Knoledge into Profit. McGraw-Hill, 2001 Кристин Комафорд. Корпоративная отчетность: Серверная архитектура для распределенного доступа к информации. // . Том Салливан. Это надо рисовать: Программное обеспечение анализа данных становится более выразительным. //
Валерий Артемьев () — советник директора Главного центра информатизации Банка России (Москва)
В основе технологии BI лежит организация доступа конечных пользователей и анализ структурированных количественных по своей природе данных и информации о бизнесе. BI порождает итерационный процесс бизнес-пользователя, включающий доступ к данным и их анализ, и тем самым проявление интуиции, формирование заключений, нахождение взаимосвязей, чтобы эффективно изменять предприятие в положительную сторону.
Корпоративная BI-архитектура должна быть разработана после того, как определены BI-потребности пользователей, но до выбора BI-инструментов.
В соответствии с пресловутыми магическими квадратами Gartner [8] технологическими лидерами EBIS являются сегодня Business Objects и Cognos, на границе между лидерами и претендентами — Information Builders, а Microsoft и Oracle — в претендентах.
Использование инструментов для генерации запросов и отчетов, анализа данных снижается, организации обновляют их и заменяют корпоративными BI-наборами. Основные инструменты (незапланированные запросы, отчетность и основной OLAP-анализ) все еще остаются наиболее распространенными, удовлетворяя большинство потребностей.