Хранилища данных - статьи
Интервью с Найджелом Пендзом
Марк Риттман
Перевод: Юрий Кудрявцев
Оригинал: Mark Rittman. Interview with Nigel Pendse. January 19th, 2010
[Марк Риттман, МР]: В последние несколько лет по рынку приложений Business Intelligence (BI) прошла волна консолидаций, и были проведены значительные инновации. Какими Вы видите основные тренды рынка и новые возможности для производителей BI-средств?
[Найджел Пендз, НП]: Честно говоря, я был разочарован уровнем инноваций в области BI-продуктов еще до поглощений, которые, несомненно, ситуацию не улучшат.
Многие из декларируемых "инноваций" – это, на самом деле, лишь слегка измененные версии идей, существующих уже десятилетия. К примеру, обработка данных в основной памяти (in-memory BI) была основной архитектурой BI-приложений 40 лет назад (так работали приложения на языке APL), и поколоночному хранению (column-store, column-oriented databases) почти столько же лет. Инструментальные панели (dashboards) также существуют уже более четверти века, со времени появления термина EIS (Executive Information System, Информационная Система Руководителя).
Прошедшие поглощения к тому же являются плохой новостью для клиентов, так как теперь они будут вынуждены платить больше за продукты, которые не будут развиваться с той скоростью, с которой могли бы (или же их разработка будет вообще прекращена). Новые владельцы BI-продуктов более заинтересованы в интеграции своих многочисленных продуктов, нежели в инвестициях в неключевые продукты.
В связи с более тесной интеграцией и настройкой под общие для вендора платформы продукты будут становиться все более технически изощренными, сложными в установке и настройке, что хорошо для консультантов, но не для клиентов.
Как мне кажется, наилучшие возможности будут иметься у небольших производителей, которые смогут воспользоваться вероятными промахами в руководстве поглощенными компаниями. Многие из BI-продуктов, теперь принадлежащие крупным компаниям, не будут развиваться или рекламироваться достаточным образом, создавая возможности для небольших компаний.
[МР]: Последние два-три года все большее внимание уделяется анализу данных в основной памяти (in-memory), аналитическим возможностям на отдельных рабочих станциях (desktop analysis) и технологиям поколоночных баз данных. На основе этих технологий были выпущены новые продукты, к примеру, Microsoft PowerPivot и Qliktech QlikView. Что Вы думаете об этих продуктах, каково будет их воздействие на рынок и насколько они подходят для корпоративных заказчиков?
[НП]: Хотелось бы отметить, что QlikView не такой уж новый продукт, он присутствует на рынке еще с середины 1990-х годов. Продукт хорошо продается из-за агрессивного маркетинга, удобства использования (по крайней мере, для простых приложений) и скорости работы. Но попытки его использовать для больших, сложных приложений менее успешны, и организации, пытающиеся реализовывать на нем подобные проекты, реже добиваются своей цели.
QlikTech, конечно, будет наращивать функциональность своего продукта, но должна стараться не потерять при этом удобства использования. Такие продукты, как Essbase или Microsoft OLAP Services (в 2000-м г. переименованный в Analysis Services), например, изначально были ориентированы на бизнес-пользователей. На данный момент, имея в разы больший функционал и масштабируемость, они стали в разы же и сложнее, и рядовой пользователь не может даже мечтать о разработке нового приложения самостоятельно (и это снова хорошие новости для консультантов).
PowerPivot – очень интересный продукт. С одной стороны, это возможность сделать Excel 2010 больше и быстрее, не увеличив при этом его функционал. Я не знаю, насколько широко будет принят этот продукт в таком обличии, даже с учетом его бесплатности.
В конце концов, много ли людей нуждается в том, чтобы регулярно скачивать и анализировать десятки миллионов записей у себя на компьютере? Мне кажется, это просто одна из дополнительных галочек для Microsoft, чтобы убеждать пользователей обновиться до Office 2010 как можно раньше раньше и в дальнейшем начинать использовать более новые версии SQL Server и SharePoint.
Но в PowerPivot используется новый и весьма впечатляющий многомерный сервер VertiPaq, работающий в оперативной памяти, который будет использоваться в других продуктах Microsoft, например, SharePoint и Analysis Services (на самом деле, VertiPaq был разработан командой Analysis Services и будет важным новым сервером хранения для Analysis Services). С этой точки зрения, этот продукт привлечет новых клиентов к серверным приложениям благодаря легкости установки и настройки, масштабируемости и огромному приросту в скорости обработки запросов. Однако нужно отметить, что на данный момент его аналитические возможности весьма ограничены; он не позволяет осуществлять сложные вычисления, с которыми справились бы даже более ранние версии Analysis Services.
[МР]: Компания Oracle в последние 5 лет вкладывает значительные средства в аналитические приложения и системы управления корпоративной эффективностью (EPM, Enterprise Performance Management). Что Вы думаете о стратегии компании Oracle по отношению к IBM и SAP, которые также приобрели целый ряд нишевых компаний? Каким Вы видите воздействие Oracle BI Enterprise Edition (OBIEE) на рынок BI-средств, и как отразилось приобретение Essbase на использовании этого сервера?
[НП]: Oracle приобрела множество продуктов BI и PM (Performance Management) (часто в результате других приобретений, как это было в случае с Siebel), а не разрабатывала подобные приложения с нуля. В результате, Oracle приобрела и свойственную Siebel философию продажи преднастроенных BI-решений для множества OLTP-приложений.
Возможно, это верная стратегия, так как клиенты, только что вложившие миллионы в новые транзакционные приложения, будут не против потратить меньшую сумму на лучшую отчетность над данными этих приложений.
OBIEE, несомненно, играет большую роль в этой стратегии. Однако, мне кажется что влияние OBIEE на внешний рынок (т.е. не рынок Oracle) будет небольшим.
SAP может пойти по этому же пути, но изначально находится в более слабой позиции, так как покупка Business Objects не принесла массы успешных аналитических пакетов, которые можно сразу подключить к OLTP. И уж тем более это не путь для IBM, которая не занимается ERP. В намного меньшем масштабе Microsoft уже продвигается в этом направлении в линейке продуктов Dynamics.
Продажи Essbase клиентам Oracle несомненно возрастут, но продукт, скорее всего, также исчезнет для прочих клиентов по мере замедления развития продукта. Хочется отметить, что до покупки Oracle у Essbase были весьма неплохие приложения для конечного пользователя. Теперь для анализа данных Essbase предлагается OBIEE, который вообще не оптимизирован для многомерных кубов. И это, несомненно, отпугнет не-Oracle клиентов.
[МР]: Одна из недавних статей на сайте BI Verdict посвящена потенциальному "возрождению OLAP" в связи с инициативами ряда вендоров. Почему Вы так считаете, неужели продукты наподобие QlikView и PowerPivot не отменяют большие инвестиции в OLAP-технологии?
[НП]: Статья написана не мной, но это был комментарий на возрастающие инвестиции в OLAP всех основных вендоров. Например, PowerPivot это один из первых продуктов на новом многомерном сервере VertiPaq, входящем в Analysis Services. А QlikView, можно сказать, играет роль Cognos PowerPlay в середине 1990-х (т.е., простой, ориентированный на конечного пользователя, анализ многомерных данных в основной памяти).
IBM, в свою очередь, продвигает TM1 намного активней чем его предыдущие владельцы, и он, видимо, станет основным многомерным сервером в Cognos Planning (в котором до этого использовались специализированные закрытые сервера).
[МР]: Можете ли Вы сказать на основе своей работы в BI Survey и BI Verdict, какие из факторов Ваши клиенты называют критичными для успеха BI или OLAP проекта, что считают общими причинами провалов?
[НП]: Наверное, Вы ожидаете, что я назову вам обычный список: нехватка поддержки руководства, проблемы с качеством данных или доступом к ним. Но, на удивление, ключевой проблемой часто является медленное время выполнения запросов. При этом организации, считающие скорость выполнения запросов одним из критериев выбора BI продукта часто добиваются лучших результатов, нежели те, кто руководствуется корпоративными стандартами.
Это, кстати, должно служить предупреждением ко всем, кто сейчас пропагандирует "BI в облаках" – это, наверное, худшее, что можно придумать с точки зрения производительности обработки запросов.
Другим важным условием успеха является вовлечение пользователей в процесс внедрения (именно вовлечение, а не спонсорство). Проекты, в состав команд которых входят бизнес-пользователи, намного успешнее тех, которые выполняются ИТ-специалистами. И специализированные консалтинговые фирмы более успешны, нежели существующие на предприятии ИТ-специалисты и консультанты более общего спектра.
[МР]: Согласно статье о Вас в Википедии, Вы работаете области BI и OLAP с 1973 года. Что Вам представляется наиболее важной инновацией за это время и что, по Вашему мнению, будет следующей инновацией подобного масштаба?
[НП]: В Википедии не совсем корректные данные, уже, впрочем, не в первый раз. В 1973 я был стажером в инженерной компании и не пользовался никакими BI-продуктами. С ними я столкнулся только через пару лет, и лишь в 1977 году я полностью начал работать в этой отрасли.
Интерфейс продуктов, которые я использовал тогда, был похож на Express (телетайп), и эти продукты были ориентированы скорее на специалистов по подготовке оперативной отчетности, нежели на тех, кого сейчас принято считать бизнес-пользователями. Как ни странно, это означает что современные аналитические приложения предоставляют меньше возможностей, чем их предшественники 30 лет назад.
К примеру, в системе FCS, аналоге Essbase, созданном в 70-е гг., поддерживалась возможность анализа по методу Монте-Карло.
Для того, чтобы представить эту возможность в новом тысячелетии, Hyperion была вынуждена купить отдельный продукт (Crystal Ball) и интегрировать его в свою линейку. Я уверен, что многие из статистических возможностей Express образца 1970-х отсутствуют как в Oracle OLAP Option, так и в Essbase.
Архитектура приложений, на мой взгляд, за это время совершила полный круг: в 1970-х BI-приложения были (как бы мы сейчас сказали) "облачными" SaaS-сервисами (SaaS – Software as a Service), к которым пользователи обращались посредством тонких клиентов (другими словами, терминалов, которые подключались к системам с разделением времени на мейнфреймах, часто стоящих в других странах). Вы не покупали и не арендовали приложение, а просто платили за время использования. И все это работало, поэтому я просто не понимаю, как можно назвать последние разработки "инновационными".
Пример: 30 лет назад я отвечал за создание налоговой модели Petrofisc для нефтяной отрасли. Система была основана на открытом коде, методах совместной разработки и широко использовалась компаниями, планирующими инвестиции в месторождения Северного Моря. Это было SaaS-приложение, для доступа к которому использовались тонкие клиенты, и, более того, оно одновременно использовалось даже конкурирующими компаниями во время переговоров.
Конечно, сейчас BI-продукты использовать намного проще. У них приличный графический интерфейс (по крайней мере, для конечных пользователей – разработчики по-прежнему должны писать код), хотя эти продукты способны не намного большее, чем их предшественники. Многие вещи теперь делаются автоматически (и этого следовало ожидать, учитывая огромный рост вычислительных мощностей и весьма скромный рост производительности) и, конечно, объемы данных, с которыми работают пользователи, существенно возросли.
Доступ к данным, в свою очередь, стал проще, во многом благодаря переходу от очень закрытых транзакционных систем (часто разрабатываемых внутри компании) к современным ERP-системам, работающим на реляционных базах данных.
Развитие ETL-средств и хранилищ данных означает что современные BI-средства могут не включать механизмы по загрузке, трансформации и консолидации данных, что было обязательным требованием для их предшественников (например, для того же продукта Express).
Но в ряде областей так и не случилось значительных прорывов, несмотря на очевидную необходимость перемен:
Визуализация данных – в течение десятилетий ожидается, что Новый Способ Отображения данных в корне изменит аналитику, но ничего из предложенного не приживается. Более того, на данный момент вершиной творчества считаются псевдохудожественные 3d-диаграммы и спидометры, которые лишь искажают информацию. Нужно отметить, что некоторые удобные новые виды графиков все-таки появляются, например, искрографики (spark line), микрографики и маркированные графики (bullet charts). Я активно использовал такие графики для иллюстрации BI Survey 8. Но Вы не найдете там ни одного спидометра или 3d-графика!
Экспертные системы так и не превратились во что-то серьезное после бума 80-х и начала 90-х, когда все верили, что подобные системы будут помогать руководителям интерпретировать данные и предлагать возможные решения.
Четверть века назад казалось, что существенную роль будут играть самообучающиеся системы, которые будут анализировать, какие показатели вы просматриваете чаще всего, что вы делаете после этого, и как вы отображаете эти данные. Основываясь на этих данных (как, например, современные коробки передач в автомобилях), они бы изменяли интерфейсы, отображение данных, строили адаптивные инструментальные панели, формировали отчеты об исключительных ситуациях. Однако ни одного успешного продукта такого класса так и не появилось.
В 1990-х BI-вендоры активно рекламировали упрощенные механизмы data mining для конечного пользователя. Это обернулось очередным "пузырем", поскольку этим методам доверяли только специалисты-статистики.
Использование нечисловых данных в BI – казалось бы, насколько старая идея, а все еще не широко применяемая в текущих продуктах.
BI для мобильных устройств – ну не совсем провал, но и не то, чего все ожидали. Как оказалось, даже в пути людям проще использовать ноутбук для просмотра отчетов, нежели смартфон или КПК.
BI для внешних пользователей компании – мечта всех жадных производителей BI-решений. Это же возможность продать дополнительные лицензии клиенту, который уже купил лицензию каждому своему сотруднику! Но, оказывается, большинство компаний не спешит открывать свою информацию внешнему миру. И не до конца понятно, кто в данном случае должен оплачивать лицензии. Так что, несмотря на единичные случаи, это не тенденция.
Какие еще нас ждут инновации? Честно говоря, я не имею ни малейшего представления, но, судя по всему, это окажется все тот же ворох старых идей в новых обертках.
[МР]: Спасибо, Найджел. Больше информации на всевозможные BI-темы от Найджела вы можете найти на сайте BI Verdict.
