Recommended
Recommended
More Related Content
Similar to Руководство по достижению зрелости в области аналитики Больших данных
Similar to Руководство по достижению зрелости в области аналитики Больших данных (20)
Руководство по достижению зрелости в области аналитики Больших данных
- 1. 1 Руководство по достижению зрелости в области аналитики Больших данных
- 2. СОДЕРЖАНИЕ Руководство по достижению зрелости в сфере управления Большими данными.........................4 Предисловие...........................................4 Зрелость в сфере управления Большими данными: на каком этапе находятся компании?............................6 Руководство по достижению зрелости в сфере управления Большими данными: на каком этапе находятся компании?............................8 Руководство по достижению зрелости в сфере управления Большими данными: зарождение.........................10 Стадии зрелости в сфере управления Большими данными..............................11 Стадия 2 Подготовка к внедрению.................12 Стадия 3 Начальное внедрение.....................14 Преодоление пропасти.......................17 Стадия 4 Внедрение в масштабе предприятия.....................................20 Стадия 5 Зрелость/визионерский уровень....22 Прохождение стадий...........................24 Дальнейшие действия........................27 Пять шагов к внедрению Больших данных в масштабе предприятия....28 Предисловие Внедрение больших данных в корпоративном масштабе.............28 Шаг 1 Использование и контроль разрозненных источников данных...30 Шаг 2 Выход за рамки предиктивной аналитики.........................................31 Шаг 3 Встраивание в бизнес-процессы и запуск в эксплуатацию аналитических решений 33 Шаг 4 Аналитика как культура...................34 Шаг 5 Полный контроль.............................35 Дальнейшие шаги................................37 Пять лучших способов начать работу с Большими данными........38 Переход от стадии «Подготовка к внедрению» к стадии «Начальное внедрение».....................38 Примечание автора.............................38 Шаг 1 Получение поддержки руководства.......................................40 Шаг 2 Понимание проблем, связанных с аналитикой, и измерение результатов......................................41 Шаг 3 Сотрудничество между ИТ и бизнес-подразделениями...........43 Шаг 4 Управление растущими объемами данных...........................44 Шаг 5 Совершенствование аналитики.........................................46 Дальнейшие шаги................................48
- 3. Пять ключевых факторов продвижения программы аналитики Больших данных.........49 Предисловие Переход от начального внедрения к внедрению в масштабе предприятия.....................................49 Шаг 1 Укрепление доверия и информирование о выгодах для достижения прогресса..............51 Номер 2 Формирование команд и приобретение новых навыков в сфере исследования и анализа Большихданных...............................52 Шаг 3 Формирование стратегии управления данными с учетом требований к аналитике Больших данных..............................................53 Шаг 4 Оценка вариантов с точки зрения потребностей инфраструктуры для аналитики Больших данных............55 Шаг 5 Своевременное внедрение всестороннего управления данными для предотвращения проблем в будущем.........................57 Дальнейшие шаги................................59 Как стать визионерской организацией в области управления Большими данными...........................................60 Предисловие Передовой опыт достижения организацией визионерскоко уровня в области аналитики Больших данных..............................................60 Шаг 1 Стимулирование непрерывных инноваций с помощью приложений для анализа Больших данных..............................61 Шаг 2 Повышение гибкости ведения бизнеса благодаря аналитике Больших данных..............................62 Шаг 3 Разработка стратегии управления данными, обеспечивающей обработку разнообразных данных.............................................64 Шаг 4 Унификация архитектуры данных и интеграция средств аналитики для поддержки интеллектуального расширения......................................65 Шаг 5 Повышение эффективности управления данными по мере достижения зрелости в сфере управления Большими данными....67 Итоги.......................................................69 Исследования TDWI............................70
- 4. 4 Руководство по достижению зрелости в сфере управления Большими данными Предисловие Многие компании собирают и хранят огромные объемы данных. Зачастую они могут быть настолько велики, что компании не справляются с их обработкой. Однако мало кто отказывается нести это тяжелое бремя. Все дело в том, что такие данные имеют огромную ценность и могут обеспечить стратегическое конкурентное преимущество. И компании это прекрасно понимают. Согласно результатам исследования TDWI, интерес к решениям для анализа Больших данных стремительно растет. В конце 2013 года TDWI разработала модель зрелости в сфере управления Большими данными, с помощью которой предприятия могут оценить эффективность своих аналитических систем, сравнить с решениями, имеющимися у конкурентов, и разработать «дорожную карту» по развитию этих систем. В опросе TDWI приняло участие около 600 организаций, что позволило оценить ситуацию с разных точек зрения и получить достоверные результаты. Участники опроса ответили на 50 вопросов, относящихся к разным категориям: организация, инфраструктура, управление данными, аналитика и корпоративное управление. Ниже представлены некоторые из них. • Организация. В какой мере успех программы управления Большими данными определяется такими факторами, как организационная стратегия, культура, лидерство и финансирование? Какое значение придается аналитике? Насколько компания ориентирована на успешную работу с данными, Большими данными и системами аналитики? • Инфраструктура. Соответствуют ли возможности вашей инфраструктуры потребностям в сфере «Руководство по достижению зрелости в сфере управления Большими данными», — Ферн Халпер (Fern Halper) и Дэвид Стоддер (David Stodder).
- 5. 5 Ферн Халпер (Fern Halper), вице-президент и старший директор по исследованиям TDWI, направление работы — расширенная аналитика. Дэвид Стоддер (David Stodder), старший директор по исследованиям TDWI, направление работы — анализ данных. управления Большими данными? В какой степени инфраструктура поддерживает корпоративные процессы и рабочие процессы потенциальных пользователей? Насколько эффективен подход к управлению данными в вашей компании? Какие технологии вы используете для работы с Большими данными и как они интегрированы в существующую среду? • Управление данными. Как вы можете оценить разнообразие, объем и изменчивость данных, которые вы используете для анализа и как компания управляет Большими данными с помощью систем аналитики? Речь идет о качестве данных, а также об их обработке, интеграции и хранении. • Аналитика. Насколько продвинутой является компания с точки зрения выстраивания процессов анализа данных? Нужно указать, какие системы аналитики и каким образом используются, а также какие навыки требуются для выполнения задач, связанных с анализом данных. • Корпоративное управление. Насколько эффективна стратегия корпоративного управления с точки зрения развития решений для анализа Больших данных? Модель зрелости состоит из пяти стадий (по возрастанию уровня зрелости): зарождение, подготовка к внедрению, начальное внедрение, внедрение в масштабе предприятия, зрелость/ визионерский уровень. Каждая из них имеет существенные отличия. По мере достижения зрелости предприятия извлекают все большую выгоду из инвестиций, направляемых на развитие аналитических систем. В данном отчете учтен опыт организаций, идущих по пути освоения аналитики Больших данных. В нем описаны стадии зрелости и представлены результаты нашей оценки.
- 6. 6 Зрелость в сфере управления Большими данными: на каком этапе находятся компании? Эффективные системы анализа Больших данных должны быстро собирать и обрабатывать весьма значительные объемы разрозненных данных и своевременно предоставлять результаты конечным пользователям. Большие данные могут включать в себя разные виды данных: структурированные (хранятся в традиционных БД и хранилищах), неструктурированные (поступают из различных внешних и внутренних источников), потоковые, геопространственные, данные машин и датчиков. Согласно исследованию TDWI, к этим видам данных наблюдается растущий интерес. С их помощью предприятия могут анализировать поведение клиентов, корректировать маркетинговые кампании и предложения, оптимизировать рабочие процессы, выявлять мошенничество и повышать уровень осведомленности о текущих ситуациях. Сценарии использования отличаются значительным разнообразием. Разумеется, достижение зрелости в управлении Большими данными предполагает организационные изменения, в частности, нужно заручиться поддержкой со стороны руководства и сформировать корпоративную культуру, в которой ценится
- 7. 7 аналитика. Для управления данными и их интеграции может потребоваться модернизация хранилища. Кроме того, сотрудники, работающие с Большими данными, должны иметь опыт применения различных методов анализа. Многие компании до сих пор находятся в начале своего пути к достижению зрелости в управлении Большими данными. Согласно результатам исследования TDWI, большинство из 600 участников опроса находятся на этапе «подготовка к внедрению» или «начальное внедрение». На рисунке 1 показано количество респондентов (в процентах) на каждой стадии зрелости. Половина (50 %) — на этапе подготовки к внедрению, 36 % — на этапе «начальное внедрение». И только около 8 % сумели преодолеть пропасть, разделяющую начальное внедрение и внедрение в масштабе предприятия. Рисунок 1. Доля респондентов на каждой стадии зрелости, на основе модели зрелости от TDWI ( www.tdwi.org/bdmm). Зарождение Подготовка к внедрению Начальное внедрение Внедрение в масштабе предприятия Зрелость/ визионерский уровень Доля респондентов на каждой стадии зрелости (№=600) ПРОПАСТЬ 60 % 50 % 40 % 30 % 20 % 10 % 0 %
- 8. 8 Руководство по достижению зрелости в сфере управления Большими данными: на каком этапе находятся компании? Ниже приведена информация об участниках опроса: • Многие респонденты получили высокие оценки за некоторые субъективные показатели, касающиеся организационной структуры. Например, они считают, что в их компаниях ценятся инновации или приветствуется творческий подход, но не представили объективных доказательств в виде «дорожной карты» или стратегии управления Большими данными. Некоторые предприятия недостаточно инвестируют в развитие своих аналитических систем и до сих пор пытаются выявить проблемы, препятствующие этому. Лишь менее 25 % участников опроса имеют настолько хорошую организацию, что могут успешно реализовывать инициативы, связанные с Большими данными. • Многие респонденты собирают структурированные данные в своих хранилищах. Хотя в некоторых случаях речь идет о значительных объемах (обычно несколько терабайт), управление ими осуществляется с помощью традиционных хранилищ. Менее половины респондентов (40 %), помимо хранилищ, баз данных и плоских файловых систем, используют Hadoop, программно- аппаратные комплексы или дополняют устаревшие системы новыми технологиями, развернутыми либо на базе локального оборудования, либо в облаке. • Более половины респондентов (55 %) экспериментируют с Большими данными или только начинают работать с ними. Остальные реализуют пробные проекты, что способствует осознанию ценности Больших данных и привлечению сотрудников к работе с ними. И немногие уже работают над крупными проектами, связанными с внедрением технологий Больших данных в масштабе всего предприятия. • У подавляющего числа респондентов нет команды аналитиков, которая отвечала бы за управление
- 9. 9 Большими данными. Многие находятся в процессе поиска таких специалистов, для чего используются различные подходы, в том числе перекрестное обучение и найм. Это типичная проблема для тех компаний, которые хотят перейти рубеж, разделяющий внедрение на начальном этапе и внедрение в масштабе предприятия. Им приходится заниматься наращиванием компетенций как в области технологий, так и в области аналитики. По наблюдениям TDWI, для привлечения квалифицированной рабочей силы используются различные методы. • Чаще всего объемы собранных предприятиями данных превышают имеющиеся у них возможности анализа. Системами расширенной аналитики пользуются около половины таких компаний, 44 % участников опроса применяют эти системы лишь в некоторых подразделениях (например, в финансовом или операционном), и менее 10 % — в масштабе всей компании. Около трети респондентов анализируют разрозненные данные (текстовые, геопространственные, потоковые и т. д.). • Многие уверены в том, что их данные в безопасности. Однако реальная ситуация не столь радужна. Например, во многих организациях отсутствуют процессы корпоративного управления Большими данными, нет оператора базы данных и даже не сформирована соответствующая корпоративная политика. В заключение стоит отметить, что подавляющая часть респондентов находится в начале своего пути по достижению зрелости в сфере управления Большими данными. Многие воспринимают аналитику Больших данных как анализ структурированных данных, которые содержатся в традиционных хранилищах. Иногда используются панели мониторинга, создаются отчеты и применяются системы предиктивной аналитики. Но зачастую это происходит лишь в некоторых подразделениях компании. На многих предприятиях отсутствуют эффективные корпоративные процессы управления Большими данными, однако они убеждены в том, что их данным ничего не угрожает.
- 10. 10 1 2 3 4 5 Разумеется, даже на этапах подготовки к внедрению и начального внедрения можно извлекать определенную ценность из Больших данных, но весь потенциал аналитики раскрыть не удастся. Например, можно анализировать не только структурированные, но и другие виды данных. Системы анализа Больших данных способны выполнять итеративный анализ с использованием огромного количества атрибутов, что позволяет быстро и своевременно получать ответы на важные для бизнеса вопросы. При сочетании передовых технологий, таких как машинное обучение, с инфраструктурой Больших данных анализ может быть программным, основанным на данных и осуществляться в реальном времени. Возможности поистине безграничны. Руководство по достижению зрелости в сфере управления Большими данными: зарождение Способность анализировать Большие данные открывает уникальные возможности. Однако извлечение ценности из данных возможно лишь при достижении определенного уровня зрелости в этой области, когда предприятие уже способно эффективно интегрировать, использовать и управлять внутренними и внешними источниками данных. На рисунке 2 показаны стадии достижения такой зрелости. В этом отчете мы подробно описываем каждую из этих стадий. Рисунок 2. Пять стадий зрелости в сфере управления Большими данными. Зарождение Подготовка к внедрению Начальное внедрение Внедрение в масштабе предприятия Зрелость/ визионерский уровень Аналитика Больших данных — стадии зрелости ПРОПАСТЬ
- 11. 11 Ситуация в компании до использования Больших данных ОЦЕНКА Стадии зрелости в сфере управления Большими данными Для достижения зрелости в области анализа Больших данных одних технологий недостаточно; нужны средства для управления данными, анализа данных, корпоративного управления и определенная организационная структура. Модель зрелости TDWI включает пять стадий: зарождение, подготовка к внедрению, начальное внедрение, внедрение в масштабе предприятия, зрелость/визионерский уровень. По мере перехода к каждой следующей стадии компании извлекают все больше ценности из своих инвестиций в аналитику. 50 40 30 20 10 0 Организация Инфраструктура Управление данными Аналитика Корпоративное управление Низкая осведомленность, отсутствие финансирования, аналитические инструменты используются в незначительных масштабах Отсутствует корпоративная архитектура работы с данными Системы аналитики (при их наличии) используются только в некоторых подразделениях ОтсутствуетСуществующее хранилище данных не является частью проекта, связанного с Большими данными На этой стадии значительная часть компаний плохо осведомлена о структуре Больших данных и их ценности для бизнеса. Отсутствует поддержка со стороны руководства, хотя некоторые сотрудники могут быть заинтересованы в работе с Большими данными. Зачастую имеются и концепция аналитики, и хранилище данных, но расширенная аналитика не используется, и о достижении
- 12. 12 зрелости в управлении Большими данными речь еще не идет. Как правило, в таких компаниях стратегия корпоративного управления ориентирована на ИТ, а не на связку ИТ и бизнеса. На стадии зарождения обычно отсутствует представление о данных как о чрезвычайно ценном и системообразующем ресурсе. Однако во многих организациях уже есть сотрудники, которые хотят использовать средства аналитики, чтобы получать ответы на важные для бизнеса вопросы. Осознавая, что старые методы работы не помогут их компании оставаться конкурентоспособной, они стремятся получить новые знания и навыки в области анализа Больших данных. Команда аналитиков, если таковая присутствует в компании, обычно действует в рамках определенного подразделения и имеет ограниченные компетенции. Как правило, при использовании систем с расширенным функционалом, например систем предиктивной аналитики, работа ведется только со структурированными данными. В такой организации отсутствует современная архитектура управления данными, хотя может быть создано хранилище данных, а стратегия управления жизненным циклом данных сфокусирована на получении немедленных результатов и использовании разрозненных сведений. Стадия 2 Подготовка к внедрению Обсуждаются вопросы, связанные с Большими данными, но еще нет понимания ценности данных На этом этапе сотрудники начинают изучать информацию о Больших данных и посещать тематические конференции. Компании могут инвестировать во внедрение новых технологий (например, Hadoop) для поддержки Больших данных, планировать развертывание систем аналитики, но, как правило, в отдельных подразделениях.
- 13. 13 Зачастую лишь один человек из высшего руководства компании оказывает финансовую поддержку инициативам по использованию Больших данных. Такая работа носит экспериментальный характер. Аналитики, входящие в состав команды, считают своей главной задачей выявление проблем, тормозящих развитие бизнеса. Сбор Больших данных (в основном из внутренних источников), а также использование Hadoop или других технологий управления Большими данными, нередко осуществляются в качестве эксперимента. Системы аналитики востребованы лишь в отдельных подразделениях. Некоторые сотрудники могут применять средства визуальной аналитики или предиктивного моделирования, но обычно только для структурированных данных. Со временем эти специалисты (обычно в области статистики и бизнес-аналитики) начинают говорить о необходимости внедрения систем и процессов управления Большими данными. ОЦЕНКА Ситуация в компании до использования Больших данных 50 40 30 20 10 0 Вовлеченность некоторых руководителей высшего звена, отсутствие достаточного финансирования, начальные этапы обсуждения вопросов, связанных с Большими данными Рассматриваются варианты модернизации инфраструктуры Наличие навыков работы с системами аналитики у некоторых сотрудников Отсутствует эффективное управление Большими данными, но разрабатываются планы по внедрению соответствующих систем Разрозненные структурированные данные Организация Инфраструктура Управление данными Аналитика Корпоративное управление
- 14. 14 На этой стадии еще не разработана полноценная стратегия управления Большими данными (хотя в отношении традиционных источников структурированных данных могут применяться те или иные процедуры и политики). Как правило, отсутствует оператор базы данных, не упорядочены способы повышения качества данных или аналитического контента. Некоторые организации уверены в безопасности своих данных, хотя зачастую это не соответствует действительности. Стадия 3 Начальное внедрение Экспериментальные развертывания или отдельные проекты по использованию Больших данных На этой стадии ИТ-команды вместе с другими подразделениями выявляют важные для компании проблемы, связанные с Большими данными, и решают, как интегрировать аналитику в процесс принятия бизнес-решений. Обычно используются одно или два экспериментальных развертывания, зачастую в виде отдельных проектов. Например, компания, работающая в сфере коммунальных услуг, может реализовать проект по обработке сведений, поступающих с интеллектуальных счетчиков, а телекоммуникационная компания — по анализу состояния своей сети. На этой стадии, как правило, используется один вид данных, хотя бывают и исключения. Например, некоторые компании оперируют значительными объемами (свыше 10 Тбайт) структурированных данных, которые хранятся в программно-аппаратном комплексе, и используют одну или несколько предиктивных моделей. Такое решение подготовлено для внедрения в производственную среду, но, во-первых, предназначено только для отдельных подразделений, а во-вторых, организация не предпринимает попыток работать с другими видами данных. Иногда в компаниях используются разные виды данных, но не интегрированно.
- 15. 15 Например, одни подразделения применяют для анализа внутренние структурированные данные, а другие — неструктурированные сведения, поступающие из социальных сетей. На стадии начального внедрения могут использоваться системы бизнес-аналитики и обнаружения данных, но не в масштабе всего предприятия, а в отдельных подразделениях. Компании, уже занимавшиеся анализом данных, иногда применяют более продвинутые системы аналитики и содержат в своем штате соответствующих специалистов либо обращаются к услугам консалтинговых организаций, которые помогают разработать стратегию управления Большими данными. Серьезной проблемой может быть отсутствие у сотрудников достаточных навыков подобной работы. На этапе начального внедрения могут использоваться разнообразные технологии: программно-аппаратные комплексы, кластер Hadoop или базы NoSQL. Компании могут задумываться о создании унифицированной архитектуры, которая бы позволила получать доступ к различным источникам и типам данных, в том числе к неструктурированным материалам и Большим данным. Осознание необходимости формирования — на основе растущей среды Больших данных и хранилищ — унифицированной архитектуры нередко
- 16. 16ОЦЕНКА Ситуация в компании до использования Больших данных Растущая поддержка инициатив, связанных с Большими данными, со стороны высшего руководства; повышенный интерес сотрудников к работе с Большими данными Использование новых технологий Наличие передовых систем аналитики, например средств предиктивной аналитики Формируется команда специалистов по управлению Большими данными Значительные объемы структурированных данных Организация Инфраструктура Управление данными Аналитика Корпоративное управление 50 40 30 20 10 0 обусловлено активным использованием Hadoop для создания и последующего анализа «озера данных», содержащего различные типы Больших данных. На этом этапе как минимум один руководитель высшего звена оказывает финансовую поддержку инициативам, связанным с Большими данными. По мере получения выгоды от экспериментального развертывания систем растет число руководителей и рядовых сотрудников, проявляющих интерес к Большим данным. Лишь в некоторых организациях для контроля за ходом реализации проекта и соблюдения требований бизнеса создается координационный комитет, куда входят представители различных подразделений, которые отчитываются о достигнутом прогрессе и соблюдении требований. На этой стадии организации обычно находятся длительное время, потому что преодолеть пропасть, разделяющую стадии начального внедрения и внедрения в масштабе предприятия, очень трудно.
- 17. 17 Преодоление пропасти Руководство многих организаций, пытающихся перейти к стадии внедрения в масштабе предприятия, хотело бы использовать системы аналитики не только в рамках отдельных проектов или на уровне отдельных подразделений. Оно заинтересовано в том, чтобы максимальное число сотрудников имело возможность извлечь ценность из Больших данных и систем аналитики. Для перехода от стадии начального внедрения к стадии внедрения во всей компании нужно преодолеть ряд препятствий. Одно из них — получение необходимых навыков. Кроме того, могут быть политические и финансовые факторы, препятствующие полномасштабному внедрению технологий Больших данных и систем аналитики, Далее перечислены распространенные проблемы, тормозящие переход к стадии внедрения в масштабе предприятия: • Финансирование. Многие проекты, связанные с аналитикой, находят поддержку у руководителей компаний, уверенных в том, что у технологий Больших данных немалые перспективы. Чтобы обеспечить достаточное инвестирование, необходимо продемонстрировать, что такие проекты могут быть успешными и приносить определенную пользу. Причем эти программы должны финансироваться из бюджета не только ИТ-отдела, но и других подразделений. Организации, принимавшие участие в опросе, заявили, что прототипы, введенные в эксплуатацию на начальных этапах внедрения, помогли продемонстрировать измеримые и ценные для бизнеса результаты, достигнутые с помощью систем аналитики Больших данных. • Управление данными и корпоративное управление. Прежде чем перейти к стадии внедрения в масштабе предприятия, необходимо унифицировать управление данными и составить план корпоративного управления. На этой стадии обычно происходит обмен данными, поэтому
- 18. 18 ИТ-отдел или комитет по корпоративному управлению должны разработать процессы и инструменты контроля, чтобы пользователи получали права доступа и могли работать с определенными данными, в том числе с Большими. Как правило, приходится создавать либо унифицированную ИТ-архитектуру, либо единую для всей компании платформу аналитики. Или хотя бы обеспечить целостность данных, используемых для анализа. • Навыки. Одним из препятствий на пути к полномасштабному внедрению является необходимость обладания навыками работы с такими технологиями, как предиктивная или потоковая аналитика, или с новыми источниками Больших данных (СУБД Hadoop или NoSQL). В ходе опроса об этом препятствии говорилось чаще всего. Если есть финансовые возможности, компания может нанять квалифицированных специалистов. Многие обращаются к консультантам, нанимают сторонних аналитиков, отправляют своих сотрудников на обучение. Некоторые предприятия формируют внутренние группы пользователей, чтобы помочь в освоении нужных навыков. • Культурные и политические проблемы. Зачастую широкому использованию в компании технологий Больших данных и систем аналитики
- 19. 19 мешает уже сформировавшаяся в коллективе культура и привычные средства взаимодействия. Например, при попытке операционализировать аналитику как часть бизнес-процесса (с использованием Больших данных) можно столкнуться с неверием людей в том, что аналитика поможет добиваться лучших результатов. Чтобы завоевать доверие, нужно время. Если в компании не принято полагаться на данные при принятии решений, придется приучать людей думать и работать по-новому. • Корпоративное управление. Для перехода к стадии внедрения в масштабе всего предприятия нужно иметь команду, отвечающую за управление системами аналитики Больших данных. Кроме того, необходимо разработать руководство по реализации программы использования Больших данных, за ходом которой (в каждом подразделении) должен следить специально учрежденный координационный комитет. Эта инициатива заранее планируется, и, как и на другие программы по интеграции данных, на нее выделяются средства из бюджета компании. Особое внимание следует уделить таким вопросам, как облачные технологии для работы с Большими данными. Таким образом, чтобы перейти к стадии масштабного внедрения, компании должны осуществлять корпоративное управление в области Больших данных, иметь соответствующую архитектуру данных, налаженные процессы управления жизненным циклом данных, стратегию обеспечения безопасности и такую организационную структуру, чтобы сотрудники могли быстро и без труда извлечь ценную информацию с помощью средств аналитики. По нашим наблюдениям, многие организации долгое время находятся на этапе начального внедрения, так как для перехода на следующую стадию им нужно нанимать дополнительный квалифицированный персонал.
- 20. 20 50 40 30 20 10 0 ОЦЕНКА Аналитика больших данных трансформирует бизнес Большие данные рассматриваются как стратегический ресурс, меняются процессы Применяется унифицированная архитектура Системы аналитики интегрируются в рабочие процессы Работает совет по корпоративному управлению, имеются задокументи- рованные политики Используются разные виды данных Организация Инфраструктура Управление данными Аналитика Корпоративное управление Стадия 4 Внедрение в масштабе предприятия Внедрение в масштабе всего предприятия — ключевой этап эволюции любой организации, стремящейся к достижению зрелости в сфере аналитики. На этой стадии данные и аналитика оказывают существенное влияние на рабочие процессы. Например, меняется процесс принятия решений, который теперь основывается на данных аналитики. Используются разные виды Больших данных, в том числе квазиструктурированные и неструктурированные. Некоторые компании внедряют системы аналитики, работающие в реальном времени. Аналитические проекты реализуются при участии как ИТ-отдела, так и других подразделений, а зачастую им оказывается поддержка со стороны центра повышения квалификации или других организационных структур. Кроме того, в компании могут быть команды специалистов по обработке данных.
- 21. 21 Такие компании используют различные передовые технологии, например системы предиктивной аналитики, а в работе с Большими данными — структурированными или неструктурированными — придерживаются инновационных подходов. Например, они могут развернуть системы текстового анализа или системы анализа данных, поступающих из социальных сетей. Могут использовать геопространственные или даже потоковые данные, чтобы изучать контент социальных сетей и его влияние на поведение клиентов, выявлять факты мошенничества и оценивать популярность методов лечения. Некоторые ведут работу над проектами, связанными с Интернетом вещей (IoT). Один из таких примеров — предиктивное обслуживание с использованием различных видов данных в реальном времени. Используются различные аналитические технологии: корпоративные базы данных NoSQL, Hadoop, программно-аппаратные комплекты, хранилища, облака, технологии in-memory. ИТ-архитектура унифицирована таким образом, чтобы поддерживать аналитику; это уже не разрозненный набор инструментов и платформ. Компании, достигшие зрелости в сфере аналитики, ищут ответы на главные вопросы: «Чьи это данные? Из какого источника получены? Как долго будут актуальны?». На этой стадии организации уже приняли программу корпоративного управления, разработали руководство по ее реализации и назначили членов координационного комитета, осуществляющего оперативный контроль. Такие же механизмы работают и в отношении управления данными. Руководители, оказывающие финансовую поддержку, вовлечены в процесс ежемесячных обновлений. Программа реализуется как спланированная инициатива. На нее выделен отдельный бюджет, и она рассматривается в одном ряду с другими программами по интеграции данных.
- 22. 22 Стадия 5 Зрелость/визионерский уровень Аналитика как оружие в конкурентной борьбе Сегодня немногие компании могут считаться зрелыми с точки зрения умения управлять Большими данными и использовать средства аналитики. Прежде всего это провайдеры интернет-сервисов, в частности LinkedIn, Facebook и Amazon. Эти компании работают с огромными объемами данных, создают новые способы анализа данных и предпринимают действия с учетом полученных результатов. Однако есть примеры и из других отраслей. Так, некоторые финансовые организации создают экосистему, объединяя Большие данные с передовыми методами анализа, и используют ее не только для выявления мошенничества, но и для взаимодействия с клиентами на основе их поведения в Интернете и оценок, получаемых в реальном времени. Предприятия розничной торговли берут на вооружение системы потоковой аналитики и средства анализа данных с возможностью самообслуживания. Они внедряют технологии Интернета вещей, которые будут собирать информацию о клиентах по мере их перемещения по магазинам и обеспечивать отправку предложений покупателям в режиме онлайн. В организации, находящейся на стадии зрелости реализуются программы аналитики Больших данных с использованием точно настроенной инфраструктуры и в соответствии со стратегиями корпоративного управления данными. Пользователям предоставляется гибкий доступ к данным, и они могут самостоятельно изучать их, не прибегая к помощи ИТ-специалистов. Многие программы реализуются как заранее спланированные, в том числе с финансовой точки зрения, инициативы. Отмечается повышенный интерес к Большим данным и аналитике со стороны руководителей и сотрудников различных подразделений, уже получающих выгоду от используемых технологий. На этой стадии аналитика нередко рассматривается как оружие в конкурентной борьбе, и применяется
- 23. 23 творческий подход. Системы аналитики применяются не только для реализации отдельных бизнес- стратегий и получения информации из ранее накопленных данных. Компании постоянно ищут новые возможности использования Больших данных, например для создания новых продуктов и сервисов. Аналитические системы часто интегрируются в бизнес-процессы, которые оперируют Большими данными, и доступ к этим системам можно получить с различных устройств. Уже имеющиеся центры повышения квалификации и команды специалистов разрабатывают новые способы анализа. Некоторые организации формируют коллективы, состоящие из аналитиков, ИТ-специалистов и представителей других подразделений, для создания инновационных решений и их внедрения в производственные процессы. Что касается инфраструктуры, то компании продолжают использовать традиционные хранилища данных, но вместе с тем не обходят стороной новые технологии управления Большими данными, такие как Hadoop и корпоративные базы данных класса NoSQL. Широко востребованы облака, причем гибридные (хотя начинают, как правило, с частного облака). Корпоративное управление хорошо развито, есть возможности самостоятельного использования инструментов работы с Большими Данными всеми заинтересованными сотрудниками, имеется тщательно разработанная стратегия доступа к данным.
- 24. 24 Зрелые организации используют аналитику в повседневной работе. С ее помощью они решают бизнес-задачи и получают информацию, которая помогает создавать новые продукты и сервисы. 50 40 30 20 10 0 ОЦЕНКА Аналитика больших данных трансформирует бизнес Большие данные рассматриваются как стратегический ресурс, меняются процессы Применяется унифицированная архитектура Системы аналитики интегрируются в рабочие процессы Работает совет по корпоративному управлению, имеются задокументи- рованные политики Используются разные виды данных Организация Инфраструктура Управление данными Аналитика Корпоративное управление Прохождение стадий В числе участников исследования TDWI было несколько компаний, которые применяют системы предиктивной аналитики и другие передовые системы анализа данных. У них надежная инфраструктура и такие же процессы. Они извлекают огромную ценность из данных, анализируя мультиструктурированные данные, а их облачные и другие аналитические платформы являются частью экосистемы аналитики и Больших данных. Согласно результатам исследования, таких компаний менее 20 %. Тех, кто сумел преодолеть пропасть,
- 25. 25 разделяющую стадию начального внедрения и стадии более масштабного внедрения и зрелости, гораздо меньше — около 10 %. С помощью аналитики они получают ощутимые результаты. Как организации переходят от одной стадии к другой? Как используют данные? Как достигают зрелости? К сожалению, универсального рецепта успеха нет. Нужны время, усилия и обучение. Освоение одной технологии не поможет компании стать аналитически зрелой. Требуются: квалифицированный персонал, знание новых технологий, поддержка руководства, подходящая архитектура, достаточное финансирование и грамотно сформированная культура. Свой вклад в достижение зрелости вносят люди, процессы и технологии. Однако существует ряд общих рекомендаций, которые облегчат организациям переход от одной стадии к другой. • Приверженность. Процесс достижения зрелости длится долго, сопровождается взлетами и падениями, аналитика сопряжена с экспериментированием, причем не всегда успешным, поэтому необходимо проявлять упорство. Организации должны предоставить пользователям, аналитикам и специалистам по обработке данных ресурсы для проведения экспериментов, чтобы в случае неудач обдумать полученные результаты и принять меры для их улучшения. Те компании, которым удалось преодолеть все препятствия на пути к достижению зрелости, уделяют большое внимание аналитике, а их руководство оказывает активную поддержку таким проектам, потому что понимает ценность Больших данных. • Компетенция. Недостаточно просто переименовать группу по работе с хранилищем данных в группу по работе с Большими данными. Специалисты должны обладать соответствующими знаниями и навыками. Компании, которые достигли стадии зрелости, до сих пор продолжают развивать
- 26. 26 навыки, а их сотрудники, имея немалый опыт по управлению данными, продолжают пополнять свои знания в области аналитики. Это непрерывный процесс. По наблюдениям TDWI, существуют различные способы получения необходимых навыков. Организации могут нанимать сторонних специалистов, проводить обучение внутри компании и обмениваться информацией о лучших методах работы. Разрабатываются новые стратегии и программы обучения, к которым персонал предприятий проявляет активный интерес, потому что уже имеются все доказательства того, что аналитика может принести большую пользу. • Культура изменений. Решения о необходимости изменений даются нелегко. Внедрение систем аналитики требует от руководства решительных действий. Как отмечает Уэйн Эккерсон (Wayne Eck- erson), те, кто добился того, чтобы их организации достигли зрелости в сфере применения технологий Больших данных, понимают принципы управления изменениями*. Важно завоевать доверие со стороны сотрудников. Успешное продвижение от стадии к стадии возможно только в том случае, если руководство поощряет эксперименты и осознает вероятность возникновения проблем, с которыми придется справляться. Только так можно завоевать доверие своих сотрудников. Стоит ли овчинка выделки? Конечно! Организации, которые смогли достичь зрелости в сфере управления Большими данными, имеют больше шансов увеличить свою выручку. Во многих случаях путь к достижению зрелости представляет собой сложную цепочку событий, каждое из которых оказывает влияние на все остальные. В результате компании накапливают все больше положительного опыта в области работы с данными и аналитикой и продолжают свой путь, становясь еще более успешными. * См. Wayne Eckerson, Secrets of Analytical Leaders: Insights from Information In- siders (New Jersey: Technics Publications, 2012).
- 27. 27 Дальнейшие действия Хотя и не существует универсального решения, есть множество рекомендаций, которые могут помочь компании пройти весь путь и достичь зрелости в сфере управления Большими данными. Эти рекомендации представлены в следующих отчетах TDWI: • Руководство по достижению зрелости в сфере управления Большими данными • Пять шагов к внедрению Больших данных в масштабе предприятия • Путь лучших способов начать работу с Большими данными • Пять ключевых факторов продвижения программы аналитики Больших данных
- 28. 28 Пять шагов к внедрению Больших данных в масштабе предприятия Предисловие Внедрение Больших данных в корпоративном масштабе К моменту перехода от стадии знакомства с Большими данными к зрелым инициативам организация успела справиться с множеством проблем. Уже выделены бюджетные средства для внедрения аналитических решений. Развернута инфраструктура управления данными, и началось внедрение технологий Больших данных. Сотрудники приобрели необходимый опыт работы в сфере аналитики. Преодолены внутренние препоны, неизбежные при переходе предприятия к использованию качественно новых процессов. Теперь наступает новый важный этап: прежде чем приступить к работе с Большими данными в масштабе всего предприятия, предстоит разобраться с управлением, анализом и контролем больших массивов данных. Во-первых, в рамках стратегии Больших данных обычно развертываются такие технологии, как Hadoop, СУБД NoSQL или специальное оборудование. Это означает, что организации не отказываются от существующего хранилища данных, а модернизируют его путем добавления новых технологий в постоянно развивающуюся экосистему управления данными. Во-вторых, предприятие начинает работать с набором разрозненных типов данных, например текстовых или геопространственных, а также применять такие новейшие разработки, как потоковые данные и технологии Интернета вещей. В-третьих, обычно на этом этапе у организации уже есть центр компетенции — единый или распределенный, а применение расширенной аналитики в операционной деятельности является «Как стать аналитически зрелой организацией в эпоху Больших данных. Пятьшагов к внедрению Больших данных в масштабе предприятия», — Ферн Халпер (Fern Halper)
- 29. 29 Примечание автора Опубликованные The Data Warehousing Institute (TDWI) четыре отчета содержат рекомендации по достижению зрелости в области аналитики Больших данных. Здесь представлено описание методов достижения зрелости в сфере корпоративной аналитики. нормой. Это важнейший момент: повседневное применение аналитики позволяет получать от нее максимум пользы. Наконец появилось осознание того, что технологии Больших данных необходимы. На предприятии уже создан специальный комитет по данным, введен в действие регламентированный процесс для управления данными, сохранения их целостности и корректного использования. На этой стадии зрелости аналитика входит в плоть и кровь компании, которая, возможно, еще не стала инновационной или не относится к группе визионеров, но находится на пути к этому. Согласно отчету TDWI «Зрелость в управлении Большими данными», менее 10 % организаций находятся на стадии внедрения технологий работы с Большими данными в корпоративном масштабе, а компании-визионеры встречаются еще реже. В этом отчете дается описание способов перехода от стадии внедрения к подлинно зрелой аналитике в масштабах всего предприятия (см. рис. 3). Управление разрозненными данными Зрелость/ визионерский уровень Полный контроль Аналитика как культура Использование аналитики в операционной деятельности Внедрение в корпоративном масштабе Выход за рамки предиктивной аналитики Рисунок 3. Пять шагов на пути от внедрения технологий Больших данных в корпоративном масштабе к достижению зрелости и статуса визионера.
- 30. 30 Шаг 1 Использование и контроль разрозненных источников данных По мере совершенствования аналитических инструментов организации начинают понимать значение различных видов данных. Хотя многие аналитики опираются преимущественно на крупные массивы структурированных данных, на уровне внедрения в корпоративном масштабе рекомендуется использовать разрозненные типы данных. Разумеется, их отбор должен происходить в соответствии с потребностями компании. Кроме того, для полноценного контроля и обработки нужных объемов данных необходимо внедрить подходящие аналитические механизмы (например, системы потоковой обработки или Hadoop). Перечислим некоторые типы данных, с помощью которых компании смогут сегодня повысить эффективность своей работы. • Неструктурированные данные. Текстовые данные поступают из многочисленных источников, в том числе внутренних (записи call-центра, жалобы, медицинские карты, документы, сообщения электронной почты и лог-файлы) и внешних (например, из соцсетей). Использование текстовых данных позволяет с большей точностью выстраивать различные модели, лучше понимать ожидания клиентов и узнавать их мнение о бренде. • Потоковые данные. Анализ данных, непрерывно поступающих в виде последовательностей событий, может оказаться весьма полезным для развития бизнеса. Речь идет о данных из соцсетей, журнала о посетителях или из ленты финансовых новостей. Некоторые из них могут генерироваться автоматически. Конечно, прежде чем окунуться в анализ потоковых данных, следует определить сценарии, в рамках которых такой
- 31. 31 анализ имеет смысл и выгоден для предприятия. При одновременном анализе двух и более потоков их необходимо синхронизировать. • Облачные данные. По мере накопления опыта в аналитике, компании, как правило, начинают активнее использовать облачные технологии, понимая, что они придают работе с Большими данными дополнительную гибкость. Источники облачных данных многообразны. Из некоторых (например, из собственных облачных приложений) организация сама извлекает данные, в то время как сведения, поступающие из Интернета вещей и по другим каналам, формируется в самом облаке. Кроме того, ряд крупных сервис-провайдеров включают в свои предложения данные (скажем, демографические), позволяющие расширить возможности аналитики. Шаг 2 Выход за рамки предиктивной аналитики По наблюдениям TDWI, активное применение технологий предиктивного анализа — верный признак скорого перехода к более продвинутой аналитике в масштабе всего предприятия. Организациям, внедрившим предиктивный анализ в свои процессы, пора применять и другие аналитические технологии, выбор, которых зависит от конкретных задач. • Текстовая аналитика. Анализ неструктурированного текста выполняется с целью извлечения релевантной информации и ее структурирования для дальнейшего применения. Анализировать можно самыеразные тексты — от электронных сообщений до публикаций в соцсетях. Это позволяет понять причины, скрывающиеся за голыми фактами. Так, если клиент вдруг отказывается от услуги, системы текстовой аналитики помогут выявить его побудительные мотивы. Что-то не понравилось?
- 32. 32 Что именно? Как правило, из больших массивов данных удается извлечь нужную информацию. • Потоковая аналитика. TDWI отмечает рост интереса к потоковой обработке событий, а также к непрерывному анализу потоковых данных в реального времени. Как показало недавнее исследование, хотя эту технологию применяют всего 20 % респондентов, еще 40 % планируют внедрить ее в ближайшие годы. Иногда данные необходимо анализировать незамедлительно — например, для выявления случаев мошенничества. В других ситуациях добавление исторических данных позволяет выстроить модель (например, проведения обслуживания оборудования для предупреждения сбоев) и, последовательно уточняя, совершенствовать ее. • Расширенные алгоритмы. Наглядным примером может служить машинное обучение, когда алгоритмы постоянно оттачиваются на основе анализа поступающих новых данных. Такое обучение бывает контролируемое и неконтролируемое. В первом случае алгоритму задается набор вводных данных, посредством которых формируется прогноз для конкретных целевых переменных — классов или цифровых значений. Во втором случае целевые переменные не задаются, и алгоритм осуществляет поиск шаблонов во вводных данных автоматически. Этот вариант удобен, если закономерности еще не выявлены. Конечно, в ряде случаев для анализа данных потребуются специальные навыки. Организации, внедрившие аналитику в масштабе предприятия, уже обладают определенными знаниями и умениями. Однако их стоит расширить: отправить сотрудников на обучение, пригласить тренеров или обратиться в центр компетенции.
- 33. 33 Шаг 3 Встраивание в бизнес-процессы и запуск в эксплуатацию аналитических решений Практическое применение аналитики предполагает ее встраивание во все бизнес-процессы предприятия, что позволяет извлечь из максимум пользы. Безусловно, эта практика не нова, но по мере стремительного роста объемов данных и частоты их поступления она становится все более актуальной. Компании осознают, что алгоритмизация принятия решений в соответствии с результатами анализа помогает улучшить финансовые показатели. Встраивание аналитики в операционную деятельность делает ее доступной не только для избранных экспертов, но и для широкого круга сотрудников, которым требуется анализировать данные и строить модели. Например, специалист по статистике из телекоммуникационной компании создает модель оттока клиентов и внедряет ее в call-центре.В ходе разговора с операторами клиенты оцениваются с точки зрения вероятности их перехода к конкурентам. На основании этих оценок даются рекомендации о том, какие меры следует принять, чтобы удержать клиента (например предложить ему более дорогие или сопутствующие товары), — и все это в рамках обычного бизнес-процесса. Даже не понимая, как работает модель, оператор сможет применять ее с выгодой для компании. Таким образом, аналитика начинает работать на всю компанию. По мере роста объемов данных поднимается вопрос об автоматизации построения моделей. Пока до этого этапа дошли немногие компании, но их число постоянно растет. Примеры автоматизации аналитики — выдача рекомендаций клиенту интернет-магазина или приложение, отвечающее за профилактическое обслуживание оборудования нефтяной вышки,отключающее тот или иной ее компонент при превышении какого-либо порогового значения.
- 34. 34 Какой бы способ ни применялся для извлечения пользы из Больших данных, необходимо делать это эффективно. Организация должна быть готова к активным действиям — если аналитика предполагает создание моделей, развертываемых в рамках систем или приложений, важно, чтобы этим кто-то занимался возможно, с участием центра компетенции. Шаг 4 Аналитика как культура Зрелость аналитики Больших данных не сводится к использованию разнообразных данных и построению моделей, позволяющих извлечь выгоду. Предполагается, что в компании должна формироваться культура ведения бизнеса, предусматривающая применение аналитики и использование ее результатов. Для этого могут понадобиться новые организационные схемы, новые лидеры, новые модели разработки и развертывания. Приведем рекомендации, следуя которым, можно извлечь максимум пользы из аналитики Больших данных. • Организационные схемы. Некоторые предприятия создают собственный центр компетенции. Обычно речь идет о команде специалистов широкого профиля, помогающих коллегам разобраться в вопросах аналитики Больших данных. Иногда такие центры предназначаются для всей компании и задействуют экспертов по разным направлениям бизнеса. В других организациях каждое подразделение имеет в штате специалиста по аналитике. Используется смешанный подход. Неизвестно, что лучше, однако если компетенции децентрализованы, необходимо обеспечить обмен наработками и информацией. Помимо выстраивания и развертывания аналитических решений, команды центров компетенции отвечают за обучение сотрудников и распространение полезного опыта.
- 35. 35 • Организационное лидерство. Нередко в компании, достигшей определенных успехов в использовании аналитических решений, назначается директор по аналитике, отвечающий за реализацию новых проектов. Обычно это энтузиаст, умеющий управлять изменениями и способный перевести предприятие от стадии внедрения аналитики в масштабе всего предприятия к уровню визионера. Некоторые предпочитают назначать директора по данным, который особое внимание уделяет инфраструктуре работы с Большими данными. В любом случае для достижения успеха в сфере аналитики необходим лидер, ответственное лицо, обеспечивающее единое руководство. • Команды внедрения. Расширенная аналитика может внедряться в течение многих месяцев — особенно если этим занимается не специально выделенная для такой работы команда экспертов. В продвинутых организациях ввод моделей в эксплуатацию осуществляет отдельное подразделение, что позволяет сократить цикл развертывания и добиться полного контроля. Успех внедрения во многом зависит от уровня рабочей дисциплины. Шаг 5 Полный контроль К тому моменту, когда организация начинает уверенно применять аналитику Больших данных, она, как правило, уже обладает хорошо выверенными средствами управления корпоративными данными, имеет планы, политики и правила, а также установила различные зоны ответственности. План управления в области аналитики должен предусматривать инструменты контроля за другими способами использования Больших данных. • Контроль развертывания моделей. По мере интеграции средств аналитики в деятельность предприятия все больше его сотрудников начинают работать с Большими
- 36. 36 данными. Некоторые бизнес-аналитики и другие пользователи, даже принимаются за построение моделей. Перед запуском таких моделей в эксплуатацию рекомендуется тщательно проверить ее правильность. Кроме того, необходимо систематизировать модели и назначить ответственных, чтобы отслеживать степень эффективности каждой из них, которая со временем может снижаться. • Контроль за развертыванием облаков. Большинство организаций, успешно применяющих аналитические решения, используют облака — обычно гибридные. При переходе в облако необходимо учесть риски аудита, соответствия стандартам, безопасности, производительности, доступности, совместимости, а также контрактные риски. Важно, чтобы команда, отвечающая за корпоративное управление данными, контролировала, отслеживала и измеряла производительность при работе с облаками, сотрудничала с провайдерами и имела возможность видеть, как работают их системы. • Контроль данных. Здесь предусматривается не только надзор за хранением и использованием данных, но и создание надежной многоуровневой стратегии защиты данных организации — как внутренних, так и внешних, где бы они ни находились. Вероятно, придется обеспечить соответствие международным стандартам защиты персональных данных, например регламенту Евросоюза Global Data Protection Regulation (GDPR), для чего потребуется внедрить конкретные инструменты безопасности. Организации нередко заблуждаются, полагая, что их данные под защитой и принятых мер безопасности достаточно1 . 1 Дополнительая информация по данной теме: ISACA (www. isaca.org), Альянс облачных вычислений (www.csa.org). Рекомендации по переходу от одной стадии зрелости к другой вы можете найти в других материалах серии: • «Пять лучших способов начать работу с Большими данными» • «Пять ключевых факторов продвижения программы аналитики Больших данных» • «Руководство по достижению зрелости в сфере управления Большими данными»
- 37. 37 Дальнейшие шаги Внедрение аналитики в масштабе предприятия — увлекательный процесс. К этому моменту компания уже успела не раз исправить ошибки в структурах данных, конфигурации, системе контроля, системе аналитики и корпоративного управления данными. И все равно организации всегда есть куда расти. Чтобы обеспечить этот рост, необходимо исследовать новые типы данных и средства аналитики, сделав ее максимально практичной, усовершенствовав организационные модели и корпоративное управление данными. Все это поможет компании приблизиться к визионерскому уровеню и с помощью аналитики Больших данных, поддерживаемой соответствующей ИТ- инфраструктурой, завоевать лидирующие позиции на рынке.