Download as PDF, PPTX
Uploaded byIlya Gershanov
OSPconf Big Data Forum 2014 Ilya Gershanov
Документ обсуждает факторы успеха проектов больших данных, включая скорость, объем и разнообразие данных, а также ключевые задачи, такие как предсказание поведения клиентов и предотвращение мошенничества. Определяются вызовы, с которыми сталкиваются организации, включая нехватку экспертов и совместимость инструментов. Также подчеркивается важность управления качеством данных и интеграции в рамках реализации проектов больших данных.
OSPconf Big Data Forum 2014 Ilya Gershanov
- 1. Факторы успеха проектов БольшихДанных Илья Гершанов igershanov@informatica.com
- 2. Большие Данные (BigData) 2 Data Velocity (Скорость) Data Volume (Объём) Data Variety (Разнообразие) GB TB В настоящее время обозначает класс задач обработки данных, которые не могут быть эффективно решены с помощью традиционных инструментов и подходов. 2008 г. - Редактор журнала Nature Клиффорд Линч (Clifford Lynch) впервые употребляет термин Big Data. (*) https://en.wikipedia.org/wiki/Big_data 2001 г. – Сотрудник Gartner Даг Лени (Doug Laney) вводит понятие (3xV) в оборот. MB PB
- 3. № Задача 20132014 За год% 1 Предсказание поведения клиента 45% 44% 2 Поиск корреляций в разнородных данных (интернет, гео-, транзакции и т.д.) 52% 43% 3 Предсказание продаж продуктов или услуг 34% 36% 4 Предотвращение мошенничества и управление финансовыми рисками 28% 27% 5 Анализ интернет-активности (clickstream) 11% 26% 6 Выявление рисков ИТ безопасности 23% 25% 7 Анализ активности в социальных сетях для потребительского сегмента 18% 24% 8 Анализ сенсорных данных, web-логов, и т.д. 22% 23% 9 На данный момент не рассматривается 15% 14% Зачем это нужно Большие Данные и Бизнес (*) По данным 2014 Analytics, BI, and Information Management Survey by Information Week 1 1 9 2 15 2 6 1 1 3
- 4. Большие Данные «Пик Завышенных Ожиданий» «Плато продуктивности» Ожидания … Время ~5-10 лет 2012 2013 Степеньзрелости решений Большие Данные и Бизнес (*) Gartner's 2013 Hype Cycle for Emerging Technologies… Многочисленные поставщики инструментов и решений Первые успешные внедрения в корпоративном секторе Консолидация поставщиков Негативные публикации в прессе 2й-3й раунд венчурных проектов <5% потенциальных пользователей Продукты и сервисы 2го поколения 4
- 5. Транзакционные БД и приложения Приложенияв Облаке Большие Транзакционные Данные OLAP и ПАК для ХД Большие Данные Взаимодействия Соц. сети, Web Logs Устройства, сенсоры Документы и эл. письма Volume Variety Velocity Большие Данные (Big Data) Hadoop и NoSQL Hadoop Хранение и обработка больших объёмов данных и частично- и неструктурированных данных NoSQL Быстро-меняющиеся модели данных Простота управления Гибкая разработка Высоконагруженные и распределенные приложения Кластерные платформы Обработка Больших Данных Стоимость масштабирования Стоимость лицензий и внедрения 5
- 6. Опасения и Риски БольшиеДанные и Бизнес • Экспертов не хватает, они дороги 47% (+9%) • Инструменты: • Нужных просто нет 20% (+2%) • Те, что есть, - не совместимы 19% • Сложны в освоении 18% (+1%) Ресурсы • Не очевидна экономическая эффективность бизнес инициатив Больших Данных 35% (+4%)Экономика$? • Качество данных 27% (+6%)Качество данных (*)По данным 2014 Analytics, BI, and Information Management Survey by Information Week • Доступность данных 17% (+4% **)Данные недоступны (**) По сравнению с данными за 2013 г. 6
- 7.
- 8. Собственно Работа с Большими Данными Загрузка Данных, Интеграция, КачествоДанных 70-80% трудозатрат в проектах Больших Данных – Интеграция Данных и обеспечение Качества Данных 8
- 9. • Ускорение разработки продуктови услуг • Высвобождение ресурсов • Задачи подготовки данных - доступным разработчикам PowerCenter Перенос фокуса с «ручной» интеграции на продуктивную работу Трудоёмкость проектов Больших Данных Время и ресурсы на аналитику и другие продуктивные задачи Время и ресурсы на подготовку данных (миграция, парсинг, профилирование, очистка, трансформация, привязка) Кодирование С исполь- зованием инструментария Informatica или экономия! (*) Comparative costs and uses for data integration platforms by Bloor Research. Март 2014 9
- 10. Загрузка в системуБольших Данных «как есть» Простой пример 10 Исходная система Целевые системы Графическая консоль Прямая загрузка (вариант 1) Генерация схемы данных Или промежуточные файлы (вариант 2) Репликация изменений Графический интерфейс Гетерогенные среды Автоматический параллелизм http://www.informatica.com/us/products/data-replication РСУБД ПАК Hadoop Очереди На основе журналов Пакетная
- 11. Без необходимости программирования WebSphereMQ JMS MSMQ SAP NetWeaver XI JD Edwards Lotus Notes Oracle E-Business PeopleSoft Oracle DB2 UDB DB2/400 SQL Server Sybase ADABAS Datacom DB2 IDMS IMS Word, Excel PDF StarOffice WordPerfect Email (POP, IMPA) HTTP Informix Teradata Netezza ODBC JDBC VSAM C-ISAM Binary Flat Files Tape Formats… Web Services TIBCO webMethods SAP NetWeaver SAP NetWeaver BI SAS Siebel Messaging, and Web Services Relational and Flat Files Mainframe and Midrange Unstructured Data and Files Flat files ASCII reports HTML RPG ANSI LDAP EDI–X12 EDI-Fact RosettaNet HL7 HIPAA ebXML HL7 v3.0 ACORD (AL3, XML) XML LegalXML IFX cXML AST FIX Cargo IMP MVR Salesforce CRM Force.com RightNow NetSuite ADP Hewitt SAP By Design Oracle OnDemand Packaged Applications Industry Standards XML Standards SaaS/BPO Social Media Facebook Twitter LinkedInEMC/Greenplum Vertica AsterData MPP Appliances Разнообразие форматов и типов источников 11 http://www.informatica.com/us/products/data-integration/powerexchange/
- 12. • «Не пытайтесьстроить законченную систему Больших Данных … технологии развиваются слишком быстро в настоящее время…» Нужно ли ставить всё на Большие Данные? 12(*) Ральф Кимбалл Ralph Kimball Newly Emerging Best Practices for Big Data В обозримом будущем системы Больших Данных будут сосуществовать с традиционными в корпоративном ИТ ландшафте. • «В ближайшем будущем поддерживайте баланс технологий, включая Hadoop, традиционные кластерные вычисления, СУБД…»
- 13. Разгрузка Корпоративного ХранилищаДанных Большой пример Корпоративное Хранилище Данных Корпоративные Приложения Операционные Хранилища Данных (ODS) Транзакци онные системы Business Intelligence Hadoop Load … Job 2Job 1 LoadExtract Transform Job y Job x … Запросы Визуальная разработка Знание Hadoop не требуется Трансформации данных выполняются в Hadoop (или ПАК) без лишнего копирования данных 13 LoadExtract Transform Запросы
- 14.
- 15. = Качество бизнес-процессови решений Качество Данных Согласо- ванность Полнота Досто- верность Точность Актуаль- ность 15
- 16. Как процесс уровняпредприятия Качество Данных Анализ 1. Профилирование данных 2. Определение целевых показателей качества данных 3. Проектирование и разработка правил качества данных 5. Мониторинг фактических показателей качества данных относительно целевых Улучшение 4. Внедрение правил в платформе интеграции данных 16 Data Steward Разработчик Владелец данных Аналитик
- 17. Визуализация Анализ эмоциональной окраски высказываний DataMining, Предиктивная аналитика Корпоративное Хранилище Данных Платформа Informatica Обработка, расчёт показателей качества, анализ всех данных Результаты ИнтеграцияБольшихДанных Бизнес- пользователь Качество данных & управление Соц.сети, Web-логи Устройства и сенсоры Документы и эл.почта Приложения, мейнфреймы платежи, сделки Клиент Сущ-ти Справочные данные и т.д. Инстр-ты Data Steward К-во данных, Управление правилами Разработчик Выверка и исправление Владелец данных Мониторинг и управление Профилирование Аналитик 17 Удобные интерфейсы для ИТ и Бизнес-пользователей
- 18.
- 19. Как оценить бизнес-инициативыБольших Данных? Экономическая эффективность 19 Международный опыт клиентов Informatica Партнёры Informatica в России и СНГ • Знают ваш бизнес • И технологии
- 20. Экспертов не хватает, онидороги (47%) Нет необходимых инструментов (20%) Инструменты не совместимы (19%) Инструменты сложны в освоении (18%) Ресурсы
- 21. Какие люди нужны? BigData 21 (*) Дрю Конвей http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram $
- 22. И незаменимые специалисты Большиеданные SELECT T1.ORDERKEY1 AS ORDERKEY2, T1.li_count, orders.O_CUSTKEY AS CUSTKEY, customer.C_NAME, customer.C_NATIONKEY, nation.N_NAME, nation.N_REGIONKEY FROM ( SELECT TRANSFORM (L_Orderkey.id) USING CustomInfaTx FROM lineitem GROUP BY L_ORDERKEY ) T1 JOIN orders ON (customer.C_ORDERKEY = orders.O_ORDERKEY) JOIN customer ON (orders.O_CUSTKEY = customer.C_CUSTKEY) JOIN nation ON (customer.C_NATIONKEY = nation.N_NATIONKEY) WHERE nation.N_NAME = 'UNITED STATES' ) T2 INSERT OVERWRITE TABLE TARGET1 SELECT * INSERT OVERWRITE TABLE TARGET2 SELECT CUSTKEY, count(ORDERKEY2) GROUP BY CUSTKEY; Hive-QL 1.Интеграция данных – работа технолога, не кодировщика. 2.Поток работ транслируется в специфические команды среды, например СУБД или Hadoop 3.Гораздо проще в поддержке и развитии, чем «некий скрипт». 4.Нет риска, что никто не разберётся в «самописном» сценарии загрузки MapReduce UDF Vibe – виртуальная машина данных. Её код развёрнут прямо на узлах кластера Hadoop 22
- 23. = Удалённые средыразработки и тестирования Аутсорсинг? Атрибут Значение Name Эдгар Кодд SSN 556-12-5697 Account Number 1565-859-2565 Phone number 818-223-5755 Product Ипотека 30 лет Balance $560,000 Loan Amount $720,000 Атрибут Значение Name Алёша Попович SSN 556-36-9999 Account Number 1565-333-3332 Phone number 818-555-5555 Product Ипотека 30 лет Balance $560,000 Loan Amount $720,000 Не маскированные данные Маскированные данные Распрацоўшчык Field Description Name Алёша Попович SSN 556-36-9999 Account Number 1565-333-3332 Phone number 818-555-5555 Product Ипотека 30 лет Balance $560,000 Loan Amount $720,000 Маскированные данные Developer Безопасные среды с маскированными данными Возможно только с подмножеством данных промышленной системы http://www.informatica.com/us/solutions/application-information-lifecycle-management/test-data-management/ 23
- 24.
- 25. • Informatica –безоговорочный лидер Интеграции Данных по мнению ведущих аналитических агентств (Gartner, Forrester) на протяжении 9 лет. #1 независимый поставщик решений для интеграции данных О Компании Informatica 25
- 26. $0 $100 000 000 $200000 000 $300 000 000 $400 000 000 $500 000 000 $600 000 000 $700 000 000 $800 000 000 $900 000 000 $1 000 000 000• Год основания: 1993 • Прибыль за 2013 г. : 948.2 млн. долларов США • Средний рост прибыли в год (CAGR): 17% • Сотрудники: 3,080+ • Партнёры: 450+ • Крупнейшие SI, ISV, OEM, консалтинговые компании, лидеры рынка (SaaS, социальные сети) • Клиенты: Over 5,000 • Клиенты в 82 странах • Прямое присутствие в 28 странах • 1е место в рейтинге Customer Loyalty Rankings (7 лет подряд) #1 независимый поставщик решений для интеграции данных О Компании Informatica 26
- 27. • Поддержка партнёровна этапе пред-продаж и продаж, обучение, центры исследования и разработки по направлениям «Репликация Данных» и «Управление Мастер-Данными» в Санкт-Петербурге и Казани • Более 60 заказчиков в России включая ведущие Банки, Телекоммуникационные компании и Розничные сети используют продукты Informatica для целей отчетности, аналитики, маркетинга, привлечения и удержания клиентов • 6 сертифицированных системных интеграторов Компания Informatica В России и СНГ 27
- 28. Спасибо за внимание! Будемрады ответить на ваши вопросы на нашем стенде www.informatica.com/bigdata