Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Oracle Big Data proposition

126 views

Published on

Main aspects of Oracle Big Data proposition

Published in: Technology
  • Be the first to like this

Oracle Big Data proposition

  1. 1. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Преимущества Oracle Big Data 1
  2. 2. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | • Oracle – №1 среди 7 вендоров • Oracle – №1 по 3/3 категорий: – Продукт – Стратегия – Присутствие на рынке Forrester Wave: Big Data Hadoop-Optimized Systems 2 http://reprints.forrester.com/#/assets/2/132/%27RES123865%27/reports
  3. 3. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 4 года непрерывного технологического прогресса Big Data Appliance X2 Big Data Connectors 3 On-Premise • Big Data Appliance X6 • Big Data Connectors • Big Data SQL • Big Data Spatial and Graph • Big Data Discovery • ODI for Big Data • Golden Gate for Big Data Cloud • Big Data Cloud Service • Big Data SQL Cloud Service • Big Data Discovery Cloud Service • Big Data Preparation Cloud Service • ... Сен- тябрь 2016 Июнь 2012
  4. 4. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 1. Простота доступа к данным 4
  5. 5. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Новые реалии в мире управления данными Появление и развитие новых средств программирования Появление и развитие новых компонентов управления данными 5
  6. 6. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Big Data SQL 6 Транзакции RelationalHadoop Логи NoSQL Профили клиентов SQL Информационная безопасность: ВСЕ данные в рамках единых общих политик обеспечения безопасности
  7. 7. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Единый интерфейс обращения к данным 7 Oracle Big Data SQL - нет необходимости переписывать существующие приложения Oracle Database 12c Предобработка запроса на серверах хранения Exadata Быстрый возврат выборочных данных Hadoop и NoSQL Предобработка запроса на узлах кластера SQL Часть данных SQL
  8. 8. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Развитие Big Data SQL Операция SQL Технология Версия Big Data SQL Scan Smart Scan 1.0 Scan Storage Index 2.0 Scan Partition Pruning 3.0 Scan Parquet | ORC Predicate Pushdown 3.0 Join Bloom Filters 3.0 Aggregation Vector Aggregation Ожидается в будущем 8
  9. 9. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Big Data SQL – поддерживаемые конфигурации Engineered Systems XB Oracle Cloud* Commodity Servers Mixed Deployment* Engineered Systems Mixed Deployment * Уже скоро! 9
  10. 10. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Структура ячейки Big Data SQL I/O Stream Data Transfer Exadata Storage Server Software Наследованная технология 10
  11. 11. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Структура ячейки Big Data SQL Smart Scan I/O Stream Data Transfer Конвертация в «блочный» формат Oracle Применение Smart Scan и других оптимизаций 11
  12. 12. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Технологии увеличения скорости Big Data SQL Сокращение ввода-вывода 100 TB User Query Partition Pruning 10 TB 1 Storage Indexing 1 TB 2 Predicate Pushdown 100 GB 3 12
  13. 13. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Технологии Big Data SQL Security Hadoop Security ACL’s | Sentry | HDFS Encryption | Encryption in Motion 13
  14. 14. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Технологии Big Data SQL Security • Единые модели безопасности для различных сред хранения данных • Дополнительные опции по безопасности, такие как «data redaction» могут быть применены к объединенным источникам данных • Oracle обеспечивает безопасность поверх Hadoop Hadoop Security ACL’s | Sentry | HDFS Encryption | Encryption in Motion 14
  15. 15. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 15 Интеграция данных между традиционными реляционными СУБД и миром Big Data Резервуар данных Хранилище данных Oracle Loader for Hadoop (Big Data connectors) B Copy to BDA Query in-place with Big Data SQL Oracle Table Access for Hadoop
  16. 16. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Big Data Открытая аналитическая платформа 16
  17. 17. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 2. Исследование новых возможностей 17
  18. 18. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Из данных в Hadoop не так легко извлечь пользу • Существующие аналитические средства не подходят – Требуется много усилий для подготовки данных – Ручная обработка наборов данных – Очистка данных и их подготовка сильно зависят от ETL инструментов – Аналитические запросы должны быть определены заранее • Нет единого инструмента для анализа – Несогласованность данных и визуализации – Нет единого «источника правды» • Нужен полный функционал • Сложные компоненты Hadoop – Pig, Oozie, Sqoop, Hive, Spark • Сложно найти специалистов – Языки программирования (например, Map Reduce, Python, Scala) – Мат. статистика и машинное обучение – Интерфейсы с командной строкой 18
  19. 19. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Аналитика больших данных требует новых подходов Изучение Трансфор- мация Исследо- вание Поиск Интуитивный, интерактивный и наглядный пользовательский интерфейс понятный всем, для быстрого поиска, изучения, трансформации и анализа данных в Hadoop, а также для общего пользования результатами 19
  20. 20. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Big Data Discovery. Визуальный интерфейс к Hadoop Изучение Трансфор- мация Иссле- дование Поиск 20
  21. 21. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | • Доступ к интерактивному каталогу данных, расположенных в Hadoop • Удобный поиск и навигация в наборах данных • Аннотации, краткие описания и рекомендации к наборам данных • Загрузка собственных данных • Автоматическое обогащение данных • Навигация по собственным и коллективным проектам 21 Легко находите нужные наборы данных
  22. 22. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | • Понимание структуры данных. Визуализация атрибутов по типам • Сортировака атрибутов по степени их важности на основе алгоритмов машинного обучения • Распределение данных, качество данных и выбросы • Понимание корелляции между атрибутами • Оценка целесообразности дальнейшей работы с набором данных 22 Изучайте данные и раскрывайте их потенциал
  23. 23. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | • Интуитивный интерфейс для трансформации данных • Расширяемая библиотека функций (замена значений, конвертация типов, группировки, слияния и т.д.) • Предварительный просмотр результатов, отмена, подтверждение и повторное выполнение трансформаций • Тестирование на небольшом наборе данных в оперативной памяти, применение на полном наборе данных в Hadoop 23 Трансформируйте и обогащайте данные
  24. 24. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | • Объединение различных данных для более глубокого анализа • Фильтрация данных с помощью мощного поисковика и интуитивной навигации с подсказками • Интерфейс «Drag & drop» для создания интерактивных визуальных дэшбордов • Публикация в Hadoop отчетов на основе смешанных наборов данных 24 Исследуйте данные для получения новых знаний
  25. 25. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Делитесь результатами с Вашими коллегами 25 • Делитесь и взаимодействуйте с Вашей командой – Делитесь проектами, закладками, снапшотами и т.д. • Публикуйте данные в Hadoop – Трансформации и обогащения могут быть применены к исходным наборам данных – Публикация подготовленных наборов данных в HDFS • Используйте результаты для работы с другими инструментами – Публикуйте данные в Hadoop в форматах, оптимизированных для аналитических инструментов (например, ORAAH) – Используйте стандартные компоненты Haddop (например, Pig, Hive, Impala, Python, т.д.) Oracle Big Data Discovery отлично работает со всех экосистемой Big Data Explore TransformDiscover Find Share & Collaborate raw data transformed data data reservoir (HDFS) Publish data warehouse business intelligence advanced analytics other hadoop tools Leverage
  26. 26. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 3. Развертывание, сопровождение и TCO
  27. 27. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Intern BIG DATA APPLIANCE – аппаратная платформа До 792 ядер с 4.6TB RAM (расширяется до 13.8TB) До 1728 TB дискового пространства 40 Gb/s InfiniBand Оптимизации для Linux Сконфигурированная Java Сетевые оптимизации Оптимизации для Hadoop Единая точка обновления и патчирования Full Минимум 6 узлов и расширение по 96TB до 20+ систем в кластере Kerberos аутентификация Авторизация Apache Sentry Аудит Oracle Audit Vault Шифрование данных Шифрование трафика Централизированное управление через OEM 12c +1 +1 +1 +1 +1 +1 • МОЩНЫЙ • МОДУЛЬНЫЙ • ОПТИМИЗИРОВАННЫЙ • БЕЗОПАСНЫЙ • УПРАВЛЯЕМЫЙ
  28. 28. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal28 • Oracle Linux 5 или Oracle Linux 6 • Oracle Java – JDK 8 • Oracle R Distribution • Oracle Big Data Appliance Enterprise Manager Plug-In • Big Data SQL (опционально, лицензируется отдельно) • Big Data Discovery (опционально, лицензируется отдельно) • Oracle NoSQL Database Enterprise Edition (опционально, лицензируется отдельно) • Cloudera Enterprise 5 – Data Hub Edition • Cloudera’s Distribution including Apache Hadoop (CDH) with support for YARN and MR2 • Cloudera Impala • HBase (as well as support for Accumulo) • Cloudera Search • Apache Spark • Cloudera Manager including: • Cloudera Back-up and Disaster Recovery (BDR) • Cloudera Navigator BIG DATA APPLIANCE – программное обеспечение
  29. 29. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 29 Эластичное масштабирование от Starter Rack to Multi-Rack Starter Full Multi-Rack • Начальная конфигурация включает 6 BDA узлов и все свитчи - Можно добавлять по одному BDA узлу • Системы предыдущих поколений можно расширять новыми узлами 29 HC
  30. 30. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Что вам НЕ придется делать с Big Data Appliance (1/2) • Подбирать и оптимизировать компоненты – серверы, диски, количество дисков, процессоры, сети, память и т.п. • Заключать отдельный договор о поддержке с Cloudera • Собирать кластер • Настраивать сетевые коммутаторы • Инсталлировать операционную систему на каждом узле и • Отслеживать и устанавливать оптимальные версии драйверов и прошивок для каждого компонента • Настраивать операционную систему для оптимальной производительности (у нас же очень много данных!) • Настраивать Java 30
  31. 31. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Что вам НЕ придется делать с Big Data Appliance (2/2) • Инсталлировать дополнительное ПО от Cloudera • Тестировать работоспособность и производительность каждого узла кластера • Заниматься самостоятельно трудоемкой процедурой многуровнего апгрейда и патчирования BIOS, OS, Java, Hadoop и т.п. • И просто следить за тем, что нужно что-то проапгрейдить • Изучать как это все сделать без остановки и прерывания работы пользователей • Заниматься дизайном перебалансировки кластера при его расширении • И т.д. и т.п. 31
  32. 32. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Использование готовых продуктов Oracle Разработка решения на основе ПО и оборудования общего назначения Платформа уже готова к использованию с возможностью достижения результата в предсказуемые и контролируемые сроки. Каждое решение есть результат разработки и требует разработки, нескольких этапов тестирования и технической поддержки, что удорожает и замедляет внедрение. Небольшое количество комбинаций оборудования и ПО от одного вендора оптимизированного работать вместе. Большое количество возможных комбинаций ПО и оборудования от разных вендоров с разными и часто не совпадающими характеристиками по производительности и надежности. Возможность объединять в одном SQL запросе реляционные и не реляционные данные без ущерба производительности. Анализ реляционных и нереляционных данных, как правило, - это две параллельные активности, требующие дополнительной интеграции. Возможность обеспечить единый SLA от одного вендора упрощает поддержку и делает ее более предсказуемой. Многовендорный подход создает риск конфликта зон ответственности и, как следствие, оперативного определения и устранения неисправности. Возможность предоставить дорожную карту развития с использованием лучших практик индустрии и наработанного внутреннего опыта. Каждый компонент в решении имеет свою дорожную карту развития и жизненный цикл, что может привести к технологической и функциональной не совместимости. Изначально более высокое инвестирование предоставляет платформу, готовую для обработки больших объемов данных и извлечения из них максимальной пользы для бизнеса. Изначально более низкое инвестирование предоставит платформу годную для пилотных экспериментов и ограниченной полезности результатов исследования для бизнеса. В дальнейшем потребуются дополнительные инвестиции и время для реализации платформы, полезной для бизнеса в полном объеме. Методология управления информацией Oracle BigData: Купить или разрабатывать самому? 32
  33. 33. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | TCO и развитие системы • Экономия на лицензировании: – По кол-ву дисков (например, Oracle Big Data SQL): • Больше размер дисков → меньше лицензий для нужного объема данных • Экономия на тех. поддержке ПО: – 12% от стоимости Oracle Big Data Appliance, тех. поддержка Cloudera учтена – Напрямую покупать дороже (цена на узел $3000-$7000, узлы могут быть «слабее») • Западные заказчики переходят на Enterprise-решения • Рынок развивается в сторону конвергентных систем, а не подхода «сделай сам» 33
  34. 34. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Техническая поддержка • Premier Support: 24х7, русский язык в рабочие часы с 9:00 до 18:00 • Покрывает весь «стек» программно-аппаратного комплекса: – Аппаратные компоненты – Системное ПО (ОС, Java и т.д.) – Платформенное ПО Cloudera • Единый интерфейс обращения – через Oracle • 12% от стоимости решения в год 34
  35. 35. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | BDA: Maximum Availability Architecture Automatic Failover of the NameNode on BDA Automatic Failover of the ResourceManager on BDA White Paper: Maximum Availability Architecture for Big Data Appliance 35
  36. 36. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 4. Производительность 36
  37. 37. Oracle Big Data Appliance В 2Xбыстрее самосборного кластера1 Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit http://www.intel.com/performance. Tests document performance of components on a particular test, in specific systems. Differences in hardware, software, or configuration will affect actual performance. Consult other sources of information to evaluate performance as you consider your purchase. For more complete information about performance and benchmark results, visit http://www.intel.com/performance. 1 - Configurations were compared by using the Big Data Benchmark for BigBench.Oracle* Big Data Appliance configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 12 X 4TB HDD, Infiniband network (1 connection) observed max throughput 24 Gb/sec, Oracle* Linux Enterprise 6, and CDH* 5.4.4 with modified configuration. DIY cluster configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 1 x 64GB SSD for OS, 12 X 4TB HDD, 10Gb network (1 connection), CentOS* 6.6, CDH* 5.3.3 with minimal changes.
  38. 38. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 1DMP (CleverDATA) • Результаты тестирования: – Обработка более 101,5 тысяч (в 1,45 раз больше изначально ожидаемого числа) запросов в секунду всего на одном узле Oracle Big Data Appliance. Время отклика на запрос в 99% случаев не превысило 1,17 миллисекунды (в 1,7 раза лучше ожидаемого). – Время классификации Интернет-страниц и построение пользовательских профилей на 6 узлах Oracle Big Data Appliance составило 11 минут 17 секунд и оказалось в 5,43 раза лучше ожидаемых результатов. Тестирование партнерского решения в РФ «Число клиентов Биржи данных растет, а это значит, что актуальными становятся вопросы увеличения производительности и масштабируемости решения. Мы решили эти задачи за счет портирования платформы на Oracle Big Data Appliance, что позволит клиентам 1DMP строить на облачной площадке собственные решения по управлению большими данными, накапливать и за короткое время классифицировать большие объемы информации, формировать профили клиентов для целей таргетированного маркетинга. Комплекс Oracle Big Data Appliance позволил нам обеспечивать короткое минимальное время отклика, что является критичным на данном рынке работы с данными» Денис Афанасьев, генеральный директор CleverDATA http://cleverdata.ru/1dmp-na-oracle-big-data-appliance/ 38
  39. 39. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | IQPLATFORM® (Айкумен ИБС) • Результаты тестирования: – Скорость поиска в архиве выросла в 9 раз – с 40 000 до 366 600 документов в секунду Тестирование партнерского решения в РФ «Ускорение обработки данных с применением программно-аппаратных комплексов Oracle Exadata, Oracle Exalogic и Oracle Big Data Appliance позволяет нашим клиентам наиболее эффективно обрабатывать большие массивы накопленной информации, используя быстрый онлайн-доступ к необходимым данным для их комплексного анализа прямо на входном потоке. Таким образом, открываются возможности решения нового класса исследовательских задач, требующих обработки данных в режиме реального времени» Дмитрий Часовской, руководитель проектного отдела «Айкумен ИБС» 39 http://www.iqmen.ru/iqmen-oracle_exastack
  40. 40. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | ForSMedia (ФОРС – ЦР) • Результаты тестирования: – Скорость поиска в архиве выросла в 9 раз – с 40 000 до 366 600 документов в секунду Тестирование партнерского решения в РФ «Столь впечатляющие результаты тестирования ForSMedia на Oracle Exalytics In- Memory Machine и Oracle Big Data Appliance свидетельствуют о несомненных преимуществах этих оптимизированных программно-аппаратных комплексов перед традиционными, что открывает широкие перспективы для продвижения наших решений с использованием технологий Больших данных среди компаний финансового, телекоммуникационного сектора, в ритейле и других индустриях» Алексей Голосов, президент ФОРС 40 http://www.fors.ru/pressroom/news/1892/

×