Электронная коммерция: от Hadoop к Spark ScalaRoman Zykov
Как обрабатывать большой объем данных быстро с наименьшими затратами? Мы смогли этого добиться в компании
RetailRocket. Обработка данных – это наш бизнес! У нас много данных: более 100 Тбайт, в сутки нам поступает более 100 млн
событий для обработки. До недавнего времени у нас все работало на кластере на базе Hadoop относительно устаревшего
дистрибутива Cloudera CDH 4.5, программный код был написан на Pig, Hive, Python и Java. Это порождало ряд проблем с
архитектурой, производительностью. Тестирование превращалось в настоящую головную боль. В конце лета RetailRocket
перешел на Yarn на базе CDH 5.1.2. Это открыло путь к более совершенным технологиям семейства Spark. Сейчас мы
находимся в фазе полного перехода на Spark на функциональном языке Scala. Это позволило нам избавиться от зоопарка
технологий, упростив архитектуру решений и автоматизировав тестирование. Первые результаты не заставили себя ждать –
получен прирост производительности на том же железе в три-пять раз. А это значит, что мы будем меньше инвестировать в
расширение парка серверов кластера. В докладе будет рассказано о проблемах, с которыми мы столкнулись, и о том как мы
их решили. Будут примеры исходного кода для оптимизации производительности и повышения удобства работы, который мы
закоммитили в наш публичный GitHub
Электронная коммерция: от Hadoop к Spark ScalaRoman Zykov
Как обрабатывать большой объем данных быстро с наименьшими затратами? Мы смогли этого добиться в компании
RetailRocket. Обработка данных – это наш бизнес! У нас много данных: более 100 Тбайт, в сутки нам поступает более 100 млн
событий для обработки. До недавнего времени у нас все работало на кластере на базе Hadoop относительно устаревшего
дистрибутива Cloudera CDH 4.5, программный код был написан на Pig, Hive, Python и Java. Это порождало ряд проблем с
архитектурой, производительностью. Тестирование превращалось в настоящую головную боль. В конце лета RetailRocket
перешел на Yarn на базе CDH 5.1.2. Это открыло путь к более совершенным технологиям семейства Spark. Сейчас мы
находимся в фазе полного перехода на Spark на функциональном языке Scala. Это позволило нам избавиться от зоопарка
технологий, упростив архитектуру решений и автоматизировав тестирование. Первые результаты не заставили себя ждать –
получен прирост производительности на том же железе в три-пять раз. А это значит, что мы будем меньше инвестировать в
расширение парка серверов кластера. В докладе будет рассказано о проблемах, с которыми мы столкнулись, и о том как мы
их решили. Будут примеры исходного кода для оптимизации производительности и повышения удобства работы, который мы
закоммитили в наш публичный GitHub
Презентация о технологии beacons - маленьких маячках, способных определять месторасположение клиента (телефона) indoor. Приложения могут реагировать на beacons: акции, скидки, информация о продуктах и т.д.
Каталог парковочного оборудования и систем производства Компании СЭАSEA Company
Компания СЭА предлагает сертифицированное парковочное оборудование и автоматизированные парковочные системы для организации платных парковок любой сложности собственного производства.
Презентация о технологии beacons - маленьких маячках, способных определять месторасположение клиента (телефона) indoor. Приложения могут реагировать на beacons: акции, скидки, информация о продуктах и т.д.
Каталог парковочного оборудования и систем производства Компании СЭАSEA Company
Компания СЭА предлагает сертифицированное парковочное оборудование и автоматизированные парковочные системы для организации платных парковок любой сложности собственного производства.
4. Легко, как 1, 2, 3, 4 1. 2. 3. Водитель останавли-вает машину Водитель включает Spark Водитель выбирает Зону, нажимает на кнопку OK и вешает прибор на окно водителя Водитель выключает счетчик по возвращении к автомобилю 4.
5. Инспекция Водитель просто вешает Spark на окно, ближайшее к тротуару, чтобы инспектор мог хорошо его видеть .
6. Инспекция Инспектор парковки может проверить Spark , используя переносной прибор с ЖК-дисплеем, имеющим высокое разрешение Он также может проверить и установить подлинность Spark с помощью специального устройства ( программируемого устройства - PCU) , используя ИК-соединение. Указанное программируемое устройство обменивается специальными защитными кодами со Spark -ом, что предотвращает любую попытку использовать поддельные приборы. PCU
11. Загрузка Spark -а Счастливый водитель Оконечная система поддержки Мобильное загрузочное устройство
12.
13.
14.
15.
16.
Editor's Notes
Устанавливаемый внутри автомобиля счетчик продолжительности стоянки представляет собой небольшой портативный электронный прибор, который используется вместе с предоплаченной смарт-картой . Водитель активирует устройство прежде, чем выйти из автомобиля, пользуясь карточкой и выбирая зону парковки ( если существует более одной зоны ). По возвращении, вдитель выключает прибор . Прибор остается в машине на зеркале заднего обзора или на окне водителя , в то же время карту можно держать отдельно . Стоимость парковки хранится на смарт-картах, которые могут быть одноразовыми и перезагружаемыми .