Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Построение аналитических систем для анализа больших данных

381 views

Published on

Построение аналитических систем для анализа больших
данных

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Построение аналитических систем для анализа больших данных

  1. 1. Построение аналитических систем для анализа больших данных Кукса Юрий Ноябрь 2014 1
  2. 2. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Что такоеBig Data ? Взрывной рост объемов информации. Новые проблемы и возможности. Big Data –данные, настолько большие, что управлять ими и анализировать их невозможно традиционными инструментами, укладываясь в разумное время и деньги Атрибуты =проблемы больших данных (5 V) Volume Velocity –кол-во и частота транзакции, IO иNWлатентность Variety -типы данных, pic, audio, video Value –нужно перекопать тонны породы для 1 г Veracity –точность и достоверность 2
  3. 3. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Аналитика –новая классификация 1. “Быстрая” :Аналитика передового фронта бизнеса в потоке актуальных данных. MBs/GBs. 2. “Традиционная”: Штабная аналитика с транзакционной БД в центре, выгрузка в хранилище (ETL ). 10s TB 3. “Big Data” –Штабная аналитика, комбинирующая данные с разных источников, используя такие технологии, как Hadoopи NoSQL. 100s TBs или даже PBs. Все 3 будут будут дополнять друг друга. Cisco’s Vision –архитектурная поддержка всех 3-х, упрощение посредством общей инфраструктуры, управления, минимизации переносов данных (co-location) 3
  4. 4. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Сферы примененияпо индустриям Выявления мошенничества, Портфельный анализ Рекомендации Управление рисками Финансы Интеллектуальные сети Управление мощностями Гибкие тарифы ЖКХ Анализ отзывов Адресная реклама Привлечение новых клиентов Реклама Управление взаимодействием с заказчиками Оптимизация цепочки поставок Рекомендации Расположение магазинов и их ассортимент Розница Фарма/клинические исследования Биоинформатика Предотвращение махинаций Здравоохранение Регулирование рынка Социальное страхование Антитеррор / СОРМ Гос. сектор Анализ качества процессов Оптимизация дистрибуции Превентивные меры Производство 4
  5. 5. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Success Story 5
  6. 6. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only 6
  7. 7. © 2013-2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 7 Cisco иBig Data  UCS делает предложение для Big Data полным  В фокусе: Hadoop, NoSQL, MPP,бизнес-аналитика  Проверенные архитектуры c Cisco UCS • Cisco UCS “Common Platform Architecture” for Big Data (теперьa Cisco UCS Integrated Infrastructure Initiative) • ISV партнеры • Совместные решения сEMC/VCE иNetApp Влиятельный игрок на рынке облачных вычислений85% глобального IP-трафика проходит через Cisco
  8. 8. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only IVB. SFF –1TB SAS. LFF –4TB SAS. Optional flash (cache-tier, primary high speed storage or boot)
  9. 9. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Cisco UCS CPA for Big Data v3Reference Architectures and Bundles Starter High Performance Performance Optimized Capacity Optimized Extreme Capacity Designed for Performance and density for analytics engines, NoSQL databases, and entry- level Hadoop deployments Extreme performance and density for analytics engines Balance of compute and storage for scale-out applications including Hadoop, NoSQL, and MPP databases Storage- intensiveHadoop and scale-out storage deployments. Industry leading storage density with low cost per terabyte Applications ActianMatrix, DataStaxEnterprise, Elastic Search, MongoDB, Oracle NoSQL Database, Pivotal GreenplumDB, Platfora, SAS Analytics, Splunk, and Hadoop deployments ActianMatrix, DataStaxEnterprise, Elastic Search, MongoDB, Oracle NoSQL Database, Platfora, SAS Analytics, Splunk, and high-performance Hadoop deployments ActianMatrix, Cloudera, HortonWorks, MapR, MarkLogic, GreenplumDB, Pivotal HD, SAS Analytics, and Splunk ActianMatrix, Cloudera, HortonWorks, MapR, MarkLogic, Pivotal HD, SAS Analytics, and Splunk Snapshots, active archiving, compliance, media storage, and distributed file systems for scenarios in which high storage capacity is important Server UCS C220 M4 UCS C220 M4 UCS C240 M4 UCS C240 M4 UCS C3160 CPU 2 x Intel Xeon E5-2620 v3(15M Cache, 2.40 GHz) 2 x Intel Xeon E5-2680 v3(30M Cache, 2.50 GHz) 2 x Intel Xeon E5-2680 v3(30M Cache, 2.50 GHz) 2 x Intel XeonE5-2620 v3(15M Cache, 2.40 GHz) 2 x Intel XeonE5-2695 v2(30M Cache, 2.40 GHz) Memory 256GB 256GB 256GB 128GB 256GB StorageController Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC Cisco 12-Gbps SAS Modular Raid Controller with 4-GB FBWC Storage 8 1.2-TB10K SASSFF HDD 2 1.2-TB10K SAS SFFHDD, 6 400-GBSAS SSD 2 120-GBSATA SSD, 24 1.2-TB 10KSAS SFF HDD 2 120-GBSATA SSD.12 4-TB 7.2K SAS SFF HDD 2 120-GBSATA SSD, 60 4-TB 7.2K SAS SFF HDD Network Controller Cisco UCSVIC 1227 2 10GE SFP+ Cisco UCS VIC 1227 2 10GE SFP+ Cisco UCSVIC 1227 2 10GE SFP+ Cisco UCS VIC 12272 10GESFP+ 2 Cisco UCS VIC 1227 2 10GE SFP+ Network and Cluster Scaling 2 Cisco UCS 6248UP FIs, Scale up to 32 servers with no additional switching infrastructure 2 Cisco UCS6248UP FIs, Scale up to 32 servers with no additional switching infrastructure 2 Cisco UCS 6296UP FIs, Scale up to 80 servers per domain, Scale to thousands of servers with Cisco Nexus 7000 or 9000 Series Switches 2 Cisco UCS 6296UP FIs, Scale up to 80 servers per domain, Scale to thousands ofservers with Cisco Nexus 7000 or 9000 Series Switches Integrates into existingor new Cisco UCS and Nexus infrastructure Cisco Single SKU SmartPlayOffers UCS-SL-CPA3-S(8 servers) UCS-SL-CPA3-H(8 Servers) UCS-SL-CPA3-P(16 Servers) UCS-SL-CPA3-C(16 Servers) UCS-SL-CPA3-D(5 Servers) 9
  10. 10. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only (теперьCisco UCS Integrated Infrastructure for Big Data) UCS 6200 Series Fabric Interconnects Nexus 2232 Fabric Extenders (optional) UCS Manager UCS C220/C240 M4 Servers LAN, SAN, Management 10
  11. 11. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Простая интеграцияс корпоративными приложениями UCSManager: развертывание, управление и мониторинг вмасштабахBig Data Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения на уровне Enterprise Почему Cisco UCS для Big Data?
  12. 12. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only 6200 Fabric A 6200 Fabric B B200 CNA FEX B FEX A SAN A SAN B ETH 1 ETH 2 MGMT MGMT Chassis 1 Fabric Switch Uplink Ports Compute Blades Half / Full width OOB Mgmt Server Ports VirtualisedAdapters Cluster Rack Mount– С240 CNA FEX A FEX B Cisco UCS : физическая архитектура–CPA v2 Fabric Extenders:
  13. 13. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only 6200 Fabric A 6200 Fabric B B200 CNA FEX B FEX A SAN A SAN B ETH 1 ETH 2 MGMT MGMT Chassis 1 Fabric Switch Uplink Ports Compute Blades Half / Full width OOB Mgmt Server Ports VirtualisedAdapters Cluster Rack Mount– С240 CNA Cisco UCS : физическая архитектура–CPA v3 Fabric Extenders: Optional in CPA V3
  14. 14. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only UCSRack-Mount Servers UCSBlade Servers Big Data Common Platform Architecture NoSQLDatabase SAN/NAS Arrays Enterprise Applications РасширениеэкосистемыCisco UCSдля традиционных корпоративных приложений в сторону Big Data
  15. 15. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Простая интеграцияс корпоративными приложениями UCSManager: развертывание, управление и мониторинг вмасштабахBig Data Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения на уровне Enterprise Почему Cisco UCS для Big Data?
  16. 16. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Болевые точки управления кластером Развертывание Мониторинг Рутинные операции по обслуживанию Масштабирование UCSManager приходит на помощь: • Быстрые элементарные и групповые операции • Моделирование, перестроение конфигураций и топологий, -больше тестов и симуляционныхпрогонов • Консистентность, надежность конфигураций • Простота • Все ресурсы видны как на ладони
  17. 17. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Инфраструктура Big Data UCS Management (160 узловв одномкластере UCSDomain) • Кластерная топологияи инвентаризация • Детальная инвентаризация сервера • Назначение пулов идентификационных номеровMAC, IP, UUID Инвентарный учет и управление ресурсами Детектирование сбоев, обновление ПО Политики QoSи контрольэнергопотребления • Обнаружение сбоев, запись в журналы • Агрегирование событий • Обновление системного ПО • Задание политик QoS • Управление на основе политик • Контроль потолка потребляемой мощности
  18. 18. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Простая интеграцияс корпоративными приложениями UCSManager: развертывание, управление и мониторинг вмасштабахBig Data Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения на уровне Enterprise Почему Cisco UCS для Big Data?
  19. 19. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Унифицированная фабрика Ciscoдает высокую пропускную способность • “Прокачка”на номинальной скорости аппаратуры без загрузки CPU на сервере • Динамическое управление полосами пропускания по заданным SLA • Стабильно низкая латентность между узлами кластера (микросекунды) 3G/s LAN Traffic (HDFS Import) 3G/s 2G/s 3G/s Cluster Traffic (Shuffle) 3G/s 3G/s Application Traffic (HBase) 4G/s 5G/s 3G/s t1 t2 t3 Индивидуальные интерфейсы Ethernet Сгруппированные по приоритету QoS
  20. 20. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Простая интеграцияс корпоративными приложениями UCSManager: развертывание, управление и мониторинг вмасштабахBig Data Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения, готового промышленной эксплуатации Почему UCS для Big Data?
  21. 21. © 2013-2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 21 Cisco UCS Big Data–партнеры ISV • Референтныеархитектуры • Совместные инженерные лаборатории • Документированные best practice и design guide • Cisco Big Data Design Zone • Cisco Big Data Lab для тестирований и POCs NoSQL Database No SQL MPP Databases Hadoop Analytics
  22. 22. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only • 8 больших проектов с глобальными клиентами • ClouderaBig Data Software Leadership + Cisco’s Platform Leadership and Deep Account Relationships • Клиенты с новыми и унаследованными задачами • Нет конкуренции с Cisco • Совместное решение–платформауровня Enterpriseдля Big Data + Что говорят партнеры:Cloudera
  23. 23. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Простое позиционирование HadoopдляBI / DW аудитории Cloudera’sHadoopdistribution,работающеена Cisco UCS, это как обычное хранилище данных (DW), только вмещает больше данных, больше типов данных, и позволяет выполнять более продвинутую аналитику. В то же времяэтоopen source, поэтому, на порядок экономичнее, чем хранилища на базе Teradata /Netezza/ Exadata. Что говорят партнеры: Cloudera
  24. 24. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Sensor Data Web Logs Hadoop RDBMS Преимущества:  Структурированныеи неструктурированные данные  Расширенная аналитика сMapReduce, NoSQL, и т.д. DW Query + Present ETL Term Storage ETL + Long Term Storage Solution Cost/ Terabyte Hadoop Advantage MapRinclusive of Cisco UCS $500 Teradata Warehouse Appliance $26,000 50x savings OracleExadata $21,000 40xsavings IBMNetezza $18,000 36xsavings Что говорят партнеры: MapR–подтверждает новую экономику хранилищ данныхна Cisco UCS
  25. 25. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Cisco UCS Big Data –один из результатов партнерства MapRна Cisco CPA v2показали линейную масштабируемость производительности на тестах Yahoo Storage Benchmark–это квалификационные испытания для кластеров Hadoop.
  26. 26. © 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only Простая интеграцияс корпоративными приложениями UCSManager: развертывание, управление и мониторинг вмасштабахBig Data Низколатентнаясетевая фабрика высокой пропускной способности увеличивает эффективность кластера Крепкое партнерство с ключевыми прикладными вендорамиобеспечивают поддержку решения, готового промышленной эксплуатации Определенно, Cisco UCS для Big Data;-)!
  27. 27. CiscoRu Cisco CiscoRussia Ждем ваших сообщений с хештегом #CiscoConnectRu • Пожалуйста, используйте код для оценки доклада • 4546 • Ваше мнение очень важно для нас Спасибо за внимание! 18.11.2014 © 2014 Cisco and/or its affiliates. All rights reserved.
  28. 28. Построение аналитических систем для анализа больших данных Кукса Юрий Ноябрь 2014 28

×