Download as PDF, PPTX
Uploaded byDataArt
Александр Богданов «Lambda - архитектура»
Документ описывает lambda-архитектуру как новую парадигму обработки больших данных, выделяя основные характеристики big data, такие как объем, скорость и разнообразие. Также рассматриваются требования к системам big data, включая гибкость, отказоустойчивость и возможность обработки данных в реальном времени. Обсуждаются различные уровни архитектуры: слой пакетной обработки, слой обработки потоковых данных и слой предоставления, подчеркивая важность надежности и масштабируемости.
More Related Content
Similar to Александр Богданов «Lambda - архитектура»
Александр Богданов «Lambda - архитектура»
- 1.
- 2. CREDITS 2 “Big Data” -Nathan Marz и James Warren Принципы построения и лучшие практики масштабируемых информационных систем реального времени. Nathan Marz – работал в Backtype, Twitter. Автор фреймворков Storm, Cascalog, ElephantDb.
- 3.
- 4. ХАРАКТЕРИСТИКИ BIG DATAСИСТЕМЫ 4 Характеристики Big Data системы
- 5. VOLUME 5 Всего задва дня мы генерируем столько же информации, сколько было создано с начала человеческой истории вплоть до 2003 года. Ожидается, что к 2020 году объем существующей цифровой информации вырастет с текущих 3,2 зеттабайт до 40 зеттабайт. (1 ZB = 1000000000000 GB) Объем хранимых данных у большинства компаний в США – 100+ TB данных. С появлением Internet of Things объем хранимых данных будет увеличиваться еще быстрее. Volume / Количество информации
- 6. INTERNET OF THINGS 6 Укаждого девайса есть сенсоры, генерирующие информацию, которую также надо хранить. Интернет вещей - единая сеть, соединяющая окружающие нас объекты реального мира и виртуальные объекты.
- 7. VELOCITY 7 Velocity Источники high-velocity данных Лог-файлы: веб-сайты, базы данных, firewall. Сетевое оборудование: роутеры, свитчи. Пользовательские девайсы: смартфоны. Социальная медиа информация: посты в социальных сетях Онлайн игры SaaS: яркий пример – LinkedIn.
- 8. VARIETY 8 Для Big Dataтипична ситуация, когда входные данные даже близко не напоминают структурированные. Документы в различных форматах Социальные сети E-mails APIs Geodata Логи Variety
- 9. ИНФОРМАЦИОННАЯ СИСТЕМА? Требования к системе,типы информации
- 10. ТРЕБОВАНИЯ К BIGDATA СИСТЕМА 10 Гибкость и отказоустойчивость Низкая задержка при чтении и обновлении Масштабируемость Широкий спектр применения Расширяемость Возможность AdHoc-запросов Минимальные расходы на обслуживание Возможность отката к нужному состоянию Требования к Big Data системе
- 11. 11 Не вся информацияодинаково важна
- 12. 12 Люди генерируют события Транзакции кредитной карты Перемещение по карте Добавление человека в список друзей
- 13. 13 Хранение текущего состояния SubscriberBalance 79092124038 50 79525468451 50 79033456789 114 Subscriber Balance 79092124038 150 79525468451 50 79033456789 114
- 14. 14 Хранение событий Subscriber BalanceTimestamp 79092124038 50 2014-12-31 79525468451 50 2014-05-21 79033456789 114 2015-11-04 Subscriber Balance Timestamp 79092124038 50 2014-12-31 79525468451 50 2014-05-21 79033456789 114 2015-11-04 79092124038 150 2015-01-01
- 15. 15 query = function( all data )
- 16. 16 Количество людей содинаковым балансом Subscriber Balance Timestamp 79092124038 50 2014-12-31 79525468451 50 2014-05-21 79033456789 114 2015-11-04 Balance Count 50 2 114 1 150 1
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. ИСТОЧНИКИ ДАННЫХ 22 ApacheKafka RabbitMQ ZeroMQ HDFS RDBMS etc. Источники данных
- 23.
- 24. BATCH LAYER. ОБЗОР. 24 IncomingData Hadoop ElephantDB
- 25. 25 BATCH LAYER. ПЛЮСЫИ МИНУСЫ. Вычисления производятся на всем объеме данных Вычисления очень хорошо масштабируются Большое время ожидания
- 26. 26 Слой пакетной обработки хранитданные в режиме “append only”
- 27. Batch Layer. Компоненты. 27 Apache Hadoop MapReduce Apache Spark Hive / Pig SparkSQL – Shark successor Cascading / Cascalog Pangool BATCH LAYER
- 28. 28 “Сырые” данные Витрина 1 Витрина2 Витрина 3 Batch Layer. Создание витрин данных.
- 29. 29 Batch Layer. MapReduce. Берембольшой объем данных и разделяем его на маленькие части … … Output MAPREDUCE DoWork() DoWork() DoWork() … Применяем одну и ту же операцию к каждой из частей Соединяем выходные данные каждой из частей
- 30. 30 Необходимо отлавливать ошибочные данныекак можно раньше. Проверка корректности данных на этапе записи лучше проверки на этапе чтения
- 31. Batch Layer. Сериализацияданных. 31 СЕРИАЛИЗАЦИЯ ДАННЫХ Используйте формат со схемой данных. CSV Thrift Avro Parquet Бонус: больше скорость, меньше занятого дискового пространства
- 32. 32 База данных “толькодля чтения” Произвольная запись не требуется.
- 33. 33 Каждая итерация BatchLayer заново генерирует витрины
- 34. Batch Layer. Базыданных. 34 ElephantDB SploutSQL Voldemort (+ Read-Only) HBase (bulk loading) Druid БАЗЫ ДАННЫХ ДЛЯ BATCH LAYER
- 35. 35 И на этомможно было бы закончить, но…
- 36. 36 Информация, обработанная BatchLayer Время С е й ч а с Данные за несколько часов Еще не обработана … но это еще не все
- 37.
- 38.
- 39. 39 Speed Layer Обработкапотоковых данных Непрерывные вычисления Операции над транзакциями
- 40. 40 Проблемы с полученными даннымимогут возникнуть лишь в Speed Layer
- 41. 41 Если что-то пойдетне так в Speed Layer, то Batch Layer это автоматически исправит
- 42. CAP-ТЕОРЕМА 42 Выберите два свойства A C P Availability/ Доступность любой запрос к распределённой системе завершается корректным откликом Consistency / Согласованность во всех вычислительных узлах в один момент времени данные не противоречат друг другу Partition Tolerance / Устойчивость к разделению Расщепление распределённой системы на несколько изолированных секций не приводит к некорректности отклика от каждой из секций
- 43. Speed Layer. Компоненты. 43 Apache Storm Apache Spark Streaming Apache S4 IBM InfoSphere Streams Apache Samza SqlStream Blaze SPEED COMPONENTS
- 44. Speed Layer. Базыданных. 44 Hbase Cassandra Redis БАЗЫ ДАННЫХ ДЛЯ SPEED LAYER
- 45.
- 46.
- 47. 47 Serving Layer. Произвольныйдоступ Объединение Batch и Speed витрин
- 48.
- 49. 49 ВОЗМОЖНАЯ РЕАЛИЗАЦИЯ ЛЯМБДААРХИТЕКТУРЫ
- 50. 50 Ошибки исправляютсяповторным пересчетом витрины с использованием “сырых” данных. Хранилища данных оптимизированы. Неизменяемость данных делает систему надежнее.
- 51. Источники информации Факты оBig Data - http://www.bigdata-madesimple.com/eye-opening-facts- everyone-should-know-about-big-data/ Инфографика “How Much Is A Petabyte” - http://mozy.com/blog/misc/how- much-is-a-petabyte/ 51
- 52.
- 53.