Вы узнаете о том, как создать собственную DMP c помощью платформы 1DMP, проблемах использования офлайн-данных в онлайн-каналах, а также о бирже данных как необходимом элементе экосистемы рынка данных.
Практика миграции реляционных баз данных в экосистему HadoopYury Petrov
Слайды моего доклада: "Практика миграции реляционных баз данных в экосистему Hadoop"
В докладе я доказываю, что возможен полный отказ от реляционных баз данных в пользу экосистемы Hadoop. В мире (к сожалению не в России) эта тема уже перекраивает рынок, уже наносится удар по традиционным базам данных.
Скоро ожидаются скринкасты.
Если вы начинаете проект миграции - задавайте мне вопросы - я с удовольствием на них отвечу.
Приглашайте меня в качестве консультанта и архитектора - я помогу собрать команду, обосновать инвестиции и запустить проект.
Инфраструктура Big data - от источников до быстрых витрин - версия для МИСиСYury Petrov
В докладе я постараюсь донести до аудитории общую концепцию построения инфраструктуры Big Data, которую многие не видят.
Будут и инсайты и самый главный из них это то, что за долгое время работы с Big Data я таки вывел определение для этого термина
https://bit.ly/2X6Domb
В нашу эпоху головокружительных достижений в области искусственного интеллекта, облачных вычислений и передовой аналитики, как ни странно, многие организации по-прежнему полагаются на архитектуры данных, построенные в прошлом веке. Однако, ситуация быстро меняется с ростом применения виртуализации данных в реальном времени для обеспечения безопасного, логического доступа к информации. Данный подход позволяет отказаться от физической трансформации и перемещения данных в хранилище, прежде чем они могут быть использованы бизнесом.
Посетите этот новый вебинар на русском языке, чтобы узнать:
- Что такое виртуализация данных?
- Чем данный подход отличается от других корпоративных технологий интеграции данных, таких как ETL
- Почему крупнейшие организации используют виртуализацию в масштабах всего предприятия
Узнайте больше о проблемах интеграции данных, решаемых с помощью виртуализации и вариантах применения этой динамично развивающейся технологии.
Вы узнаете о том, как создать собственную DMP c помощью платформы 1DMP, проблемах использования офлайн-данных в онлайн-каналах, а также о бирже данных как необходимом элементе экосистемы рынка данных.
Практика миграции реляционных баз данных в экосистему HadoopYury Petrov
Слайды моего доклада: "Практика миграции реляционных баз данных в экосистему Hadoop"
В докладе я доказываю, что возможен полный отказ от реляционных баз данных в пользу экосистемы Hadoop. В мире (к сожалению не в России) эта тема уже перекраивает рынок, уже наносится удар по традиционным базам данных.
Скоро ожидаются скринкасты.
Если вы начинаете проект миграции - задавайте мне вопросы - я с удовольствием на них отвечу.
Приглашайте меня в качестве консультанта и архитектора - я помогу собрать команду, обосновать инвестиции и запустить проект.
Инфраструктура Big data - от источников до быстрых витрин - версия для МИСиСYury Petrov
В докладе я постараюсь донести до аудитории общую концепцию построения инфраструктуры Big Data, которую многие не видят.
Будут и инсайты и самый главный из них это то, что за долгое время работы с Big Data я таки вывел определение для этого термина
https://bit.ly/2X6Domb
В нашу эпоху головокружительных достижений в области искусственного интеллекта, облачных вычислений и передовой аналитики, как ни странно, многие организации по-прежнему полагаются на архитектуры данных, построенные в прошлом веке. Однако, ситуация быстро меняется с ростом применения виртуализации данных в реальном времени для обеспечения безопасного, логического доступа к информации. Данный подход позволяет отказаться от физической трансформации и перемещения данных в хранилище, прежде чем они могут быть использованы бизнесом.
Посетите этот новый вебинар на русском языке, чтобы узнать:
- Что такое виртуализация данных?
- Чем данный подход отличается от других корпоративных технологий интеграции данных, таких как ETL
- Почему крупнейшие организации используют виртуализацию в масштабах всего предприятия
Узнайте больше о проблемах интеграции данных, решаемых с помощью виртуализации и вариантах применения этой динамично развивающейся технологии.
My presentation at OSPconf. Big Data Forum 2015 in Moscow on Informatica products and solutions in Big Data space: datawarehouse offload, managed data lake, big data Customer MDM, streaming analytics platform.
Выбор NoSQL базы данных для вашего проекта: "Не в свои сани не садись"Alexey Zinoviev
Alexey Zinoviev Алексей Зиновьев рассказывает о выборе одной из следующих баз данных CouchDB, Neo4j, Mongo, Cassandra, HBase, Riak на Happydev 2013
Article "Choice of NoSQL database for your project: Don't bite off more than you can chew" presented on HappyDev 2013 (IT-conference in Omsk) by Alexey Zinoviev
The main idea of this article is comparison of the most popular NoSQL databases: CouchDB, Cassandra, Mongodb, Riak, Neo4j, HBase
Большие данные и бизнес-аналитика: как найти пользу?Marina Payvina
Как извлечь пользу из больших данных.
Инструменты бизнес-аналитики для анализа и исследования больших данных
Мероприятие:
День Науки НИУ ВШЭ 2015
Фото: http://vk.com/album-66011151_214023156
Рост популярности NoSQL - одно из важнейших изменений технологий управления данными. За счет "не реляционности" достигается высочайшая гибкость, скорость работы и масштабируемость БД. NoSQL не исключает использование реляционных БД, обе технологии с пользой дополняют друг друга. Как можно моделировать NoSQL данные, не имеющие жестких схем, и какую пользу можно получить в результате. Слайды с вебинара Embarcadero. На русском языке
JSLab.Тимур Шемсединов. "Архитектура программных систем на Node.js"GeeksLab Odessa
28.03.15. Одесса. Impact Hub Odessa. Конференция JSLab.
Тимур Шемсединов. "Архитектура программных систем на Node.js"
Обзор подходов к построению прикладных программных систем на Node.js, анализ и сравнение архитектурных принципов развертывания высоконагруженных прикладных облачных сервисов, масштабирование приватных кластеров на Node.js за пределы нескольких физических машин, концепция прикладной виртуальной машины, примеры ее реализации и внедрения, тенденции и перспективы в разработке приложений, обзор проблем платформы Node.js и пути их решения.
Подробнее:
http://geekslab.co/
https://www.facebook.com/GeeksLab.co
https://www.youtube.com/user/GeeksLabVideo
My presentation at OSPconf. Big Data Forum 2015 in Moscow on Informatica products and solutions in Big Data space: datawarehouse offload, managed data lake, big data Customer MDM, streaming analytics platform.
Выбор NoSQL базы данных для вашего проекта: "Не в свои сани не садись"Alexey Zinoviev
Alexey Zinoviev Алексей Зиновьев рассказывает о выборе одной из следующих баз данных CouchDB, Neo4j, Mongo, Cassandra, HBase, Riak на Happydev 2013
Article "Choice of NoSQL database for your project: Don't bite off more than you can chew" presented on HappyDev 2013 (IT-conference in Omsk) by Alexey Zinoviev
The main idea of this article is comparison of the most popular NoSQL databases: CouchDB, Cassandra, Mongodb, Riak, Neo4j, HBase
Большие данные и бизнес-аналитика: как найти пользу?Marina Payvina
Как извлечь пользу из больших данных.
Инструменты бизнес-аналитики для анализа и исследования больших данных
Мероприятие:
День Науки НИУ ВШЭ 2015
Фото: http://vk.com/album-66011151_214023156
Рост популярности NoSQL - одно из важнейших изменений технологий управления данными. За счет "не реляционности" достигается высочайшая гибкость, скорость работы и масштабируемость БД. NoSQL не исключает использование реляционных БД, обе технологии с пользой дополняют друг друга. Как можно моделировать NoSQL данные, не имеющие жестких схем, и какую пользу можно получить в результате. Слайды с вебинара Embarcadero. На русском языке
JSLab.Тимур Шемсединов. "Архитектура программных систем на Node.js"GeeksLab Odessa
28.03.15. Одесса. Impact Hub Odessa. Конференция JSLab.
Тимур Шемсединов. "Архитектура программных систем на Node.js"
Обзор подходов к построению прикладных программных систем на Node.js, анализ и сравнение архитектурных принципов развертывания высоконагруженных прикладных облачных сервисов, масштабирование приватных кластеров на Node.js за пределы нескольких физических машин, концепция прикладной виртуальной машины, примеры ее реализации и внедрения, тенденции и перспективы в разработке приложений, обзор проблем платформы Node.js и пути их решения.
Подробнее:
http://geekslab.co/
https://www.facebook.com/GeeksLab.co
https://www.youtube.com/user/GeeksLabVideo
2. Факты о Максимайзере
MVT, персонализация, сегментация, Web
аналитика.
1-е место в Великобритании.
7 миллиардов HTTP запросов в месяц.
500 миллионов уникальных пользователей
в месяц.
3. Факты о Максимайзере
Экспоненциальный рост числа клиентов и
объемов данных.
300 ms SLA на время ответа HTTP
сервера.
Десятки серверов по всему миру.
Интерактивные Ad-Hoc репорты.
4. План доклада
• Что такое Big Data?
• Big Data: типы нагрузок.
• Big Data: архитектурные шаблоны.
• Практические советы.
5. Что такое Big Data?
90% всех данных создано в 2011-12гг
2,200,000 TB создается ежедневно
К 2015 будет
создано 8,000,000,000 TB = 8 ZB =
18,000,000 Библиотек Конгресса США
Увеличение IP трафика в 4 раза
8. Что такое Big Data
Уровень развития различных технологий
Big Data представлены в отчете Gartner
“Hype Cycle for Big Data 2012”
http://whatsthebigdata.com/2012/08/16/gartners
9. Big Data: slashdot эффект
Топ 1000 сайтов по объему трафика
http://www.google.com/adplanner/static/top1000/#
#1 Facebook – 380,000 rps
#2 Youtube – 38,000 rps
#29 LinkedIn – 965 rps
#84 Odnoklassniki.ru – 5000 rps
Будьте готовы к Slashdot/хабра эффекту!
17. Big Data: типы нагрузок
Запрос-ответ
Обработка потоков данных
Обработка графов
Иголка в стоге сена
Индексирование текста
Аналитические отчеты
Неструктурированные данные
18. Big Data: архитектурные
шаблоны.
Как хранить МНОГО данных?
Как их обрабатывать БЫСТРО?
Что ДЕЛАТЬ с собранными
данными?
20. Big Data: архитектурные
шаблоны.
LB+Shared Nothing Nodes
Примеры: stateless Web
farms, parallel processing,
distributed databases and
caches, DFSs, CDN.
Плюсы: простота
реализации, клиенты
знают только о LB, ноды
независимы.
Минусы: LB – узкое место
и точка отказа, привязка
пользователя к ноде с
данными.
21. Big Data: архитектурные
шаблоны.
LB + Stateless Nodes +
Scalable Storage
Examples: Web farms,
parallel processing.
Pros: бизнес логика
масштабируется
отдельно от данных,
минимум точек отказа
Cons: сессия
пользователя должна
храниться в
хранилище.
25. Big Data: архитектурные
шаблоны.
Data Distribution Service
Mission-critical, ultra low
latency, high bandwidth.
Pros: те же что у очереди
+ отсутствие
центрального брокера,
типизированные данные,
латентность
Cons:
специализированные
сетевые протоколы
26. Big Data: архитектурные
шаблоны.
Map Reduce
Используется на
большинстве крупных
сайтов для офлайн
обработки.
Pros: масштабируемость
Cons: латентность,
сложность алгоритмов,
поддержка кода
27. Big Data: архитектурные
шаблоны.
In memory обработка потока
данных
CEP, ESP – MS
StreamInsight, NEsper,
Storm.
Pros: Mapreduce в
реальном времени,
выявление патернов
Cons: ограниченное
временное окно
29. Big Data: архитектурные
шаблоны.
Content Delivery Network
(CDN)
Pros: разгрузка файл-
серверов, быстрый ответ
в любом регионе
Cons: стоимость,
публичный доступ к
файлу
30. Практические советы
• Проанализируй оси развития системы.
• Разделяй по компонентам с учетом осей.
• Избегай глобальной координации.
• Масштабируй конфигурирование системы.
• Стоимость с учетом масштаба.
• Планируй обновление “железа” на этапе
проектирования.
• Масштабируемость сети.