Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...Ontico
РИТ++ 2017, Backend Conf
Зал Сан-Паулу, 6 июня, 14:00
Тезисы:
http://backendconf.ru/2017/abstracts/2778.html
Хотите научиться принимать решения на основе данных, но не знаете, с чего начать? Нужно записать миллионы событий, но не уверены, как делать это правильно? Вы не знаете, как быстро и дёшево строить аналитические отчеты или запутались в инструментах?
На примере DocDoc я расскажу о плюсах и минусах различных подходов: как выбрать систему хранения, почему мы остановились на Google BigQuery. Как правильно организовать данные, записать свой clickstream, отказаться от сэмплирования в GA, а также строить простые и понятные отчеты.
Shadow Fight 2: архитектура системы аналитики для миллиарда событийVyacheslav Nikulin
Аудитория Shadow Fight 2, насчитывающая 50 миллионов игроков, ежедневно генерирует огромное количество событий, анализ которых происходит в реальном времени. Доклад посвящен архитектуре системы аналитики на основе поискового движка Elasticsearch. Будет рассмотрен технологический стек Elasticsearch, Logstash, Kibana, который позволяет в сжатые сроки создать гибкое и надежное решение. Также Вячеслав поможет разобраться со схемой обработки событий, моделью данных и особенностями настройки, расскажет о команде и трудозатратах на разработку и поддержку системы
Этот доклад я презентовал на конференции BI тренды 11 октября 2012 года в Москве. http://events.cnews.ru/events/programm/bi_instrumenty_v_rossii__poslednie_trendy.shtml
High load++2016.highlights (dropbox+clickhouse)Pavel Alexeev
Highload++ 2016 short present of 3:
Оригинальные доклады, рекомендуемые к просмотру:
* Особенности архитектуры распределённого хранилища в Dropbox. Слава Бахмутов (SRE в группе разработки стораджа в Dropbox) - http://www.highload.ru/2016/abstracts/2257.html
* ClickHouse: очень быстро и очень удобно. Виктор Тарнавский (Руководитель разработки аналитических продуктов в Яндексе), Алексей Миловидов (Главный разработчик ClickHouse) - http://www.highload.ru/2016/abstracts/2327.html
* Переезжаем на Yandex ClickHouse - Александр Зайцев (LifeStreet) - http://www.highload.ru/2016/abstracts/2297.html
Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...Ontico
РИТ++ 2017, Backend Conf
Зал Сан-Паулу, 6 июня, 14:00
Тезисы:
http://backendconf.ru/2017/abstracts/2778.html
Хотите научиться принимать решения на основе данных, но не знаете, с чего начать? Нужно записать миллионы событий, но не уверены, как делать это правильно? Вы не знаете, как быстро и дёшево строить аналитические отчеты или запутались в инструментах?
На примере DocDoc я расскажу о плюсах и минусах различных подходов: как выбрать систему хранения, почему мы остановились на Google BigQuery. Как правильно организовать данные, записать свой clickstream, отказаться от сэмплирования в GA, а также строить простые и понятные отчеты.
Shadow Fight 2: архитектура системы аналитики для миллиарда событийVyacheslav Nikulin
Аудитория Shadow Fight 2, насчитывающая 50 миллионов игроков, ежедневно генерирует огромное количество событий, анализ которых происходит в реальном времени. Доклад посвящен архитектуре системы аналитики на основе поискового движка Elasticsearch. Будет рассмотрен технологический стек Elasticsearch, Logstash, Kibana, который позволяет в сжатые сроки создать гибкое и надежное решение. Также Вячеслав поможет разобраться со схемой обработки событий, моделью данных и особенностями настройки, расскажет о команде и трудозатратах на разработку и поддержку системы
Этот доклад я презентовал на конференции BI тренды 11 октября 2012 года в Москве. http://events.cnews.ru/events/programm/bi_instrumenty_v_rossii__poslednie_trendy.shtml
High load++2016.highlights (dropbox+clickhouse)Pavel Alexeev
Highload++ 2016 short present of 3:
Оригинальные доклады, рекомендуемые к просмотру:
* Особенности архитектуры распределённого хранилища в Dropbox. Слава Бахмутов (SRE в группе разработки стораджа в Dropbox) - http://www.highload.ru/2016/abstracts/2257.html
* ClickHouse: очень быстро и очень удобно. Виктор Тарнавский (Руководитель разработки аналитических продуктов в Яндексе), Алексей Миловидов (Главный разработчик ClickHouse) - http://www.highload.ru/2016/abstracts/2327.html
* Переезжаем на Yandex ClickHouse - Александр Зайцев (LifeStreet) - http://www.highload.ru/2016/abstracts/2297.html
Промышленное ускорение сайтов / Николай Мациевский (Айри.рф)Ontico
Идея: обеспечить реально высокую скорость загрузки нагруженного сайта (от 100 тысяч посетителей в день) для всех пользователей, ничего не сломав и уложившись в бюджет.
Введение. Подходы к оптимизации фронтенда:
* Классический: делаем по GPSI или WPT.
* Самостоятельный: прикрутили PageSpeed и CDN.
* Промышленный: PDSA (попробовали, измерили, внедрили, подсчитали).
* Кейс: открытие новостного сайта за 1 секунду на любом устройстве.
Часть 1. Мониторинг клиентской производительности
* Google Analytics / Яндекс.Метрика / Битрикс.
* New Relic / mPulse / Айри / Navigation Timing API.
* Resource Timing API / User Timing Api: собственные метрики.
* Кейс: как понять из метрик сайта, что и где тормозит.
Часть 2. Внедрение ускорения
* Как выбрать KPI скорости сайта.
* Базовые правила: как автоматизировать, внедрить, раскатать.
* "Бюджет" на ускорение страницы: как распределить.
* Поточное и отложенное ускорение: как выбрать.
* Некоторые типичные ошибки "оптимизации".
* Кейс: нестандартные подходы к оптимизации производительности.
Часть 3. Узкое профилирование
* Тестируем CDN: что смотрим, как измеряем.
* Тестируем мобильные устройства: тормозит CPU или GPRS ?
* Тестируем асинхронную загрузку: подводные камни.
* Кейс: сколько "стоит" ошибка в клиентской производительности.
Заключение. Промышленное внедрение
* Кейс: "швейцарский нож" для оптимизации изображений.
* Кейс: когда реально работает отложенная загрузка.
* Кейс: HTTP/2. Реальные данные.
* Кейс: как ускорить 2000 ресурсов в секунду?
«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 20132ГИС Технологии
Нельзя, да и неправильно, проектировать веб-сервис как монолитное приложение. Рано или поздно это приведёт к его закостенелости или даже умиранию. С другой стороны, декомпозиция системы на несколько компонент приносит проблемы интеграционной зависимости, которые усложняют развёртывание или эксплуатацию приложения. В докладе я представлю систему, которая позволяет нам оперативно развёртывать многокомпонентное приложение 2ГИС API на три сервера в Новосибирске, Москве, Амстердаме. Особое внимание уделю гибкой архитектуре приложения, процессу развёртывания, версионированию кеша и индексов (Sphinx, C++-демоны), миграции схем БД (PostgreSQL), инструментам мониторинга и развёртывания (Zabbix, Chef, Phing, Yii).
сервисы персонализации на основе данныхRoman Zykov
Персонализация как сервис на основе данных
Персонализация на основе данных о пользователях играет все большую роль в аналитических CRM системах. Самым первым шагом важно понять, какой продукт или сервис на основе данных вы готовы предложить своим клентам. Далее в докладе будут рассмотрены следующие вопросы:
Достаточно ли у вас данных для персонализации продукта?
Как оценить успешность проекта по персонализации?
Как подружить аналитический и операционный CRM?
Какие основные причины провала таких проектов?
Самостоятельная разработка или outsource?
Насколько важен вопрос правильных технологий?
Где место сегментации клиентов?
В докладе будут вкратце разобраны некоторые примеры российских и зарубежных компаний.
- Как начать развивать систему аналитики в компании, не имея армию data-инженеров.
- Как перейти из состояния «я не понимаю какие квадратики на этой схеме нужны для моих задач» и при этом не уйти в R&D на несколько месяцев.
- Как реализовать потоковую обработку данных на PHP (~40К записей в минуту).
- Какие технические решения применяли в нашем решении и какие факторы учитывали в принятии решений.
Презентация с мероприятия https://habr.com/ru/company/tuturu/blog/426059/
Выступление Василия Суханова (SAP) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org
Выступление Александра Кирова (Acronis) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Про некоторые кейсы использования elasticsearch в современных проектах.
- С какими сложностями столкнулись
- Где успешо применили elasticsearch, а где был избыточен
Презентация с мероприятия https://habr.com/ru/company/odnoklassniki/blog/452978/
Выступление Александра Сербула (1С-Битрикс) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Выступление Владислава Флакса (OWOX) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Что нужно знать об архитектуре ClickHouse / Алексей Зателепин (Яндекс)Ontico
РИТ++ 2017, Backend Conf
Зал Сан-Паулу, 6 июня, 15:00
Тезисы:
http://backendconf.ru/2017/abstracts/2803.html
ClickHouse - высокопроизводительная аналитическая база данных с открытыми исходниками, разработанная в Яндексе. Изначально ClickHouse создавался для задач Яндекс.Метрики, но постепенно нашёл множество применений как внутри Яндекса, так и в других компаниях. Я расскажу, как ClickHouse устроен внутри с акцентом на то, какие у выбранной архитектуры следствия с точки зрения прикладного разработчика.
Будут затронуты следующие темы:
- Как ClickHouse хранит данные на диске и выполняет запрос, почему такой способ хранения позволяет на несколько порядков ускорить аналитические запросы, но плохо подходит для OLTP и key-value нагрузки.
- Как устроена репликация и шардирование, как добиться линейного масштабирования и что делать с eventual consistency.
- Как диагностировать проблемы на production-кластере ClickHouse.
Александр Мигаловский — ГНИВЦ ФНС России — ICBDA 2015rusbase
Выступление Александра Мигаловского (ГНИВЦ ФНС России) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
«Архитектура Справочного API 2ГИС» — Сергей Коржнев, 2ГИС2ГИС Технологии
В своем докладе мы рассмотрим архитектуру сервиса и основные инфраструктурные процессы.
Архитектура: Yii-фреймворк и компоненты, PgSQL, Sphinx, С++-демоны для многокритериального поиска.
Развертывание: серверы (Новосибирск, Москва, Амстердам), Phing, Chef.
Мониторинг: Zabbix API, Pinba + утилита профилирования методов API, Graylog.
Кеширование: Nginx + Lua, Redis, APC, шардинг кеша и инвалидация.
Также мы расскажем, как нам удаётся стабильно делать релизы каждый вторник и обновлять данные по всем городам каждый день. И многое другое…
Справочный API 2ГИС — крупнейший REST API в Рунете.
Более 300 партнёров, среди которых 2ГИС-Онлайн, Mail.ru, НГС, Е1.ru. Месячная аудитория — 14 млн.
Сервис предоставляет информацию об 1.3 млн. фирм и 1.8 млн. POI в 200 городах России, Падуе (Италия), нескольких городах в Украине и Казахстане.
Промышленное ускорение сайтов / Николай Мациевский (Айри.рф)Ontico
Идея: обеспечить реально высокую скорость загрузки нагруженного сайта (от 100 тысяч посетителей в день) для всех пользователей, ничего не сломав и уложившись в бюджет.
Введение. Подходы к оптимизации фронтенда:
* Классический: делаем по GPSI или WPT.
* Самостоятельный: прикрутили PageSpeed и CDN.
* Промышленный: PDSA (попробовали, измерили, внедрили, подсчитали).
* Кейс: открытие новостного сайта за 1 секунду на любом устройстве.
Часть 1. Мониторинг клиентской производительности
* Google Analytics / Яндекс.Метрика / Битрикс.
* New Relic / mPulse / Айри / Navigation Timing API.
* Resource Timing API / User Timing Api: собственные метрики.
* Кейс: как понять из метрик сайта, что и где тормозит.
Часть 2. Внедрение ускорения
* Как выбрать KPI скорости сайта.
* Базовые правила: как автоматизировать, внедрить, раскатать.
* "Бюджет" на ускорение страницы: как распределить.
* Поточное и отложенное ускорение: как выбрать.
* Некоторые типичные ошибки "оптимизации".
* Кейс: нестандартные подходы к оптимизации производительности.
Часть 3. Узкое профилирование
* Тестируем CDN: что смотрим, как измеряем.
* Тестируем мобильные устройства: тормозит CPU или GPRS ?
* Тестируем асинхронную загрузку: подводные камни.
* Кейс: сколько "стоит" ошибка в клиентской производительности.
Заключение. Промышленное внедрение
* Кейс: "швейцарский нож" для оптимизации изображений.
* Кейс: когда реально работает отложенная загрузка.
* Кейс: HTTP/2. Реальные данные.
* Кейс: как ускорить 2000 ресурсов в секунду?
«Система развёртывания многокомпонентного сервиса» — Алексей Салов, YaC 20132ГИС Технологии
Нельзя, да и неправильно, проектировать веб-сервис как монолитное приложение. Рано или поздно это приведёт к его закостенелости или даже умиранию. С другой стороны, декомпозиция системы на несколько компонент приносит проблемы интеграционной зависимости, которые усложняют развёртывание или эксплуатацию приложения. В докладе я представлю систему, которая позволяет нам оперативно развёртывать многокомпонентное приложение 2ГИС API на три сервера в Новосибирске, Москве, Амстердаме. Особое внимание уделю гибкой архитектуре приложения, процессу развёртывания, версионированию кеша и индексов (Sphinx, C++-демоны), миграции схем БД (PostgreSQL), инструментам мониторинга и развёртывания (Zabbix, Chef, Phing, Yii).
сервисы персонализации на основе данныхRoman Zykov
Персонализация как сервис на основе данных
Персонализация на основе данных о пользователях играет все большую роль в аналитических CRM системах. Самым первым шагом важно понять, какой продукт или сервис на основе данных вы готовы предложить своим клентам. Далее в докладе будут рассмотрены следующие вопросы:
Достаточно ли у вас данных для персонализации продукта?
Как оценить успешность проекта по персонализации?
Как подружить аналитический и операционный CRM?
Какие основные причины провала таких проектов?
Самостоятельная разработка или outsource?
Насколько важен вопрос правильных технологий?
Где место сегментации клиентов?
В докладе будут вкратце разобраны некоторые примеры российских и зарубежных компаний.
- Как начать развивать систему аналитики в компании, не имея армию data-инженеров.
- Как перейти из состояния «я не понимаю какие квадратики на этой схеме нужны для моих задач» и при этом не уйти в R&D на несколько месяцев.
- Как реализовать потоковую обработку данных на PHP (~40К записей в минуту).
- Какие технические решения применяли в нашем решении и какие факторы учитывали в принятии решений.
Презентация с мероприятия https://habr.com/ru/company/tuturu/blog/426059/
Выступление Василия Суханова (SAP) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org
Выступление Александра Кирова (Acronis) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Про некоторые кейсы использования elasticsearch в современных проектах.
- С какими сложностями столкнулись
- Где успешо применили elasticsearch, а где был избыточен
Презентация с мероприятия https://habr.com/ru/company/odnoklassniki/blog/452978/
Выступление Александра Сербула (1С-Битрикс) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Выступление Владислава Флакса (OWOX) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Что нужно знать об архитектуре ClickHouse / Алексей Зателепин (Яндекс)Ontico
РИТ++ 2017, Backend Conf
Зал Сан-Паулу, 6 июня, 15:00
Тезисы:
http://backendconf.ru/2017/abstracts/2803.html
ClickHouse - высокопроизводительная аналитическая база данных с открытыми исходниками, разработанная в Яндексе. Изначально ClickHouse создавался для задач Яндекс.Метрики, но постепенно нашёл множество применений как внутри Яндекса, так и в других компаниях. Я расскажу, как ClickHouse устроен внутри с акцентом на то, какие у выбранной архитектуры следствия с точки зрения прикладного разработчика.
Будут затронуты следующие темы:
- Как ClickHouse хранит данные на диске и выполняет запрос, почему такой способ хранения позволяет на несколько порядков ускорить аналитические запросы, но плохо подходит для OLTP и key-value нагрузки.
- Как устроена репликация и шардирование, как добиться линейного масштабирования и что делать с eventual consistency.
- Как диагностировать проблемы на production-кластере ClickHouse.
Александр Мигаловский — ГНИВЦ ФНС России — ICBDA 2015rusbase
Выступление Александра Мигаловского (ГНИВЦ ФНС России) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
«Архитектура Справочного API 2ГИС» — Сергей Коржнев, 2ГИС2ГИС Технологии
В своем докладе мы рассмотрим архитектуру сервиса и основные инфраструктурные процессы.
Архитектура: Yii-фреймворк и компоненты, PgSQL, Sphinx, С++-демоны для многокритериального поиска.
Развертывание: серверы (Новосибирск, Москва, Амстердам), Phing, Chef.
Мониторинг: Zabbix API, Pinba + утилита профилирования методов API, Graylog.
Кеширование: Nginx + Lua, Redis, APC, шардинг кеша и инвалидация.
Также мы расскажем, как нам удаётся стабильно делать релизы каждый вторник и обновлять данные по всем городам каждый день. И многое другое…
Справочный API 2ГИС — крупнейший REST API в Рунете.
Более 300 партнёров, среди которых 2ГИС-Онлайн, Mail.ru, НГС, Е1.ru. Месячная аудитория — 14 млн.
Сервис предоставляет информацию об 1.3 млн. фирм и 1.8 млн. POI в 200 городах России, Падуе (Италия), нескольких городах в Украине и Казахстане.
The document discusses several new features in Java 8 including lambda expressions, default methods in interfaces, and type annotations. It provides examples of using the new date/time API, annotations on types, and default methods in interfaces. It also summarizes features like Java profiles, parallel collections, and improvements to the Java Virtual Machine.
Комплексная стратегия продвижения облачного сервиса Windows Azure на российск...Anatoly Simkin
Комплексная стратегия продвижения облачного сервиса Windows Azure на российском рынке до 2013 г. Команда «Corefuns» заняла первое место в кейс-чемпионате «Microsoft IT Case Cup» (бизнес секция) проведенного весной 2011 года. Команда представила решение кейса по разработке комплексной стратегии продвижения облачного сервиса Windows Azure на российском рынке до 2013 г. В рамках трех этапов кейс-чемпионата была проведена большая работа по анализу рынка облачных вычислений и существующих продуктов, построению финансово-аналитической модели и выработки маркетинговой стратегии продвижения. Анатолий принимал участие в роли лидера команды, аналитика и дизайнера слайдов.
Development proposal for a strategy of promoting Azure Platform.
The team «Corefuns» took first place in the Microsoft IT Case Cup. The team developed a comprehensive strategy to promote Windows Azure (cloud service) in the Russian market until 2013. The Case Cup consists of three stages: offline strategy draft, a 5 minute summary presentation, and a 15 minute presentation of the full strategy. The team did a lot of work in the cloud computing sector: market analysis, financial modeling, and marketing strategy development. Antoly took part as a team leader, an analyst, and a designer.
Microsoft Azure - введение в основные сервисы для разработки и инфраструктуры...Microsoft
В рамках доклада для стартапов будут представлены преимущества получения бесплатных мощностей облачной платформы Microsoft Azure, которые можно использовать для быстрого старта своего проекта.
Сайт «Вестник Московской городской избирательной комиссии»КРОК
Сайт «Вестник Московской городской избирательной комиссии» - электронное периодическое издание, в котором публикуются полезные избирателям Москвы материалы.
Подробней про разработку ПО компанией КРОК можно прочитать на сайте - http://www.croc.ru/solution/services/software/
Windows Azure is an open and flexible cloud computing platform that allows users to build, deploy, and manage applications and services through Microsoft's global network of datacenters. It provides compute, network, storage and application services that allow users to build applications using any language, tool or framework. The platform offers advantages of speed, scale and lower costs compared to traditional application development models. Key services include virtual machines, web sites, cloud services, SQL and NoSQL data storage, media services and more.
Улучшить портативность приложений без необходимости редизайна во время миграции является одной из важнейших задач DevOps. Из этой презентации вы узнаете как работает и какие проблемы решает живая миграция Jelastic, как можно упростить и ускорить процесс миграции, а также в полной мере использовать все преимущества контейнеров и вертикального масштабирования.
Владимир Русинов "Яндекс.Диск. Полет нормальный"Yandex
6 апреля 2013 года Яндекс.Диску исполнился один год. В докладе рассказывается о том, что произошло с сервисом за этот год, какие продуктовые и технологические задачи решала команда, с какими проблемами столкнулись и чему научились.
Получить запись вебинара можно здесь: https://www.owox.com/c/1l8
Облачные технологии предоставляют бизнесу любого масштаба доступную, гибкую виртуальную среду для хранения и обработки информации.
«Облако» можно легко настроить соответственно потребностям бизнеса, а использовать облачную инфраструктуру удобнее и дешевле, чем содержать собственный дата-центр. Но, несмотря на все преимущества, доверить бизнес облачным технологиям спешат не все.
На совместном вебинаре от Google и OWOX BI мы расскажем, кому и для каких целей стоит использовать «облака» и в чем отличия Google Cloud Platform от других облачных сервисов.
На вебинаре вы узнаете:
➤Какие задачи проще решить с помощью облачных технологий, даже если у компании уже есть свой дата-центр;
➤В чем отличия Google Cloud Platform от других облачных сервисов;
➤Как обеспечивается безопасность и кто имеет доступ к данным в Google Cloud Platform;
➤Как применяют Google Cloud Platform крупные компании.
Вебинар будет полезен:
Аналитикам, маркетологам, специалистам по обработке и анализу данных, владельцам бизнеса и всем, кто хочет узнать больше о Google Cloud Platform.
«Собеседования: что сделать, чтобы точно его не пройти и как определиться с работой мечты»
BitByte: 20 апреля 2013, Санкт-Петербург
http://bitbyte.itmozg.ru/
«История строителя: Maven - от новичка до мастера. Сборка простых и сложных Java- проектов.»
BitByte: 20 апреля 2013, Санкт-Петербург
http://bitbyte.itmozg.ru/
«Бутылочное горлышко многопоточных программ – кто виноват, и что делать. Мастер-класс.»
BitByte: 20 апреля 2013, Санкт-Петербург
http://bitbyte.itmozg.ru/
«Зачем рекрутеры сидят во Вконтакте. Как формируется имидж соискателя в социальных сетях?»
BitByte: 20 апреля 2013, Санкт-Петербург
http://bitbyte.itmozg.ru/
3. вычислительные сервисы сервисы данных сетевые сервисы
virtual machines web sites cloud services connect virtual network traffic manager
...
Датацентры:
2 в Европе, 2 в Азии, 4 в Северной Америке + 24 узла сети CDN
...
...
...
Автоматизировано
Управляемые ресурсы
Гибко
Основано на потреблении
mobile
...
SQL database tables blob storage
...
...
...
HDInsight
сервисы
приложений
9. Big «Big Data»
Интернет видео – 18 Экзабайт в месяц
Мобильный трафик – 2 Экзабайта в месяц
В 2011 году Фейсбук перенес 11 Петабайт
данных в свой Hadoop кластер
Пользователи Twitter создают
более 1 терабайта сообщений в день
Cisco предполагает что к 2013 интернет
трафик достигнет величины 667 экзабайт
(в год), а к 2015 – превысит 1 Зеттабайт
11. Microsoft
и Big Data
4 триллиона
объектов в
Windows Azure
Bing скачивает
7 петабайт
данных в месяц
12. Microsoft
и Big Data
500 миллионов активных
аккаунтов Microsoft Account
460 миллионов уникальных
пользователей MSN в месяц
355 миллионов пользователей почты Hotmail
5.5+ миллиардов запросов к Bing в месяц
40 миллионов активных пользователей Xbox Live
14 миллиардов показов рекламы
Microsoft Advertising в месяц
2-4 миллиарда писем в Office 365 ежедневно
14. Microsoft
HDInsight
HDInsight на сервере и в облаке
100% opensource-реализация
платформы Apache Hadoop
знакомые инструменты
для работы с данными (Excel, BI)
HDFS, MapReduce, Pig, Hive, Zookeeper, Mahout, …
интеграция с SQL Server, обмен данными
быстрое развертывание
инструменты управления
Apache Ambari+System Center
интеграция и безопасность с Active Directory
доступ к сервису по требованию
в облаке Windows Azure
34. • https://votinginfoproject.org/
• неформатированный поиск по адресу, формат гос. данных
• маршрут ко всем определенным для своего
адреса избирательным пунктам
• время голосования
и информация о кандидатах
• требуемые в данном штате документы
• контакты администрации и работников
• 50 языков приложения, в том числе
гаитянский, креольский, тагальский,
хинди и хмонг
35. • Трафик ~20 Гб за день с каждого из 50 штатов
• 1.5 миллиона пользователей за день
• 6 млн API-запросов за день
от пользователи из 50 штатов
• 100% uptime
• 0 сбоев
• без снижения скорости
36. • платформа — Microsoft Windows Azure
• 4 региона (дата-центра):
East, West, South, NorthEastern
• Облачные ресурсы: 90 ядер и 126 баз данных
• веб-протокол — Odata
• реализация UI — на knockout и ASP.NET MVC
• решение по масштабированию API — APIPhany
• $0 вложений в инфраструктуру, 1 день работы
• все ресурсы по запросу, оплата за потребление
37. Более 10 лет на рынке ИТ-услуг
Два базовых офиса – Новосибирск и Вашингтон
Более 100 сотрудников (в России и США)
Windows Phone, iOS, Android, Windows 8
Собственная дизайн студия
Четыре ключевых направления:
Microsoft, Java, BI, Mobile, MicroStrategy