Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

CleverDATA_Oracle Cloud BI Day 2015

562 views

Published on

Описание аспектов портирования и тестирования выполнения задачи построения клиентских профилей платформой управления данными 1DMP на программно-аппаратном комплексе Oracle Big Data Appliance. Топология развертывания. Hardware. Software. Результаты тестирования.

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

CleverDATA_Oracle Cloud BI Day 2015

  1. 1. Гармония    платформы  управления   данными  1DMP  и     Oracle  Big  Data  Appliance   Сергей  Жемжицкий,  CTO  CleverDATA   09  июля  2015  г.  
  2. 2. Company  Profile   Mechanical  sympathy  of  Oracle  Big  Data   Appliance  &  1DMP  pla]orm   1DMP:    Платформа  управления  данными   Сергей  Жемжицкий,     CTO,  CleverDATA,   9  июля,  2015  
  3. 3. cleverdata.ru    |    info@cleverdata.ru   Make  your  data  clever   Развитие    бизнеса     на    международном     рынке   Входит  в  тройку   лидеров  российских  ИТ  компаний   43  подразделения  в  России  и  за   рубежом   Более  7000  сотрудников   100  тыс.проектов  для  10  тыс.заказчиков   Решение  для  повышения   эффективности  маркетинговых   коммуникаций  для  B2C  компаний   «Биржа»  данных   Разработчик  систем  предиктивной   аналитики  на  больших  данных   Собственные  центры  разработки   Партнерство  с  мировыми  лидерами   Центр  экспертизы  по  технологиям  Big   Data  и  Digital  Markebng   1DMP  
  4. 4. cleverdata.ru    |    info@cleverdata.ru   Агенда   •  Платформа  1DMP;     •  Задача  построения  профилей;     •  Результаты  тестирования  на   Oracle  Big  Data  Appliance.  
  5. 5. cleverdata.ru    |    info@cleverdata.ru   Платформа  1DMP  
  6. 6. Основные  компоненты   •  Raw  Data  Storage  –  хранение  «сырых»  данных   •  Master  Data  Storage  –  хранение  готовых  аудиторных   профилей   •  Raw  Data  Loader  –  механизмы  загрузки  данных  из  внешних   источников   •  User  tracker  –  механизм  трекинга  пользователей,  поддержка   таблицы  синхронизации,  синхронизация  трафика  с   внешними  поставщиками   •  Master  Data  Connector  –  API  работы  с  внешними   потребителями  данных  (DSP/SSP)   •  Web  Crawler  –  обогащение  данных  веб  контентом  из   открытых  источников   •  Predic|on  Engine  –  механизм  обработки  данных  алгоритмами   машинного  обучения   •  Rule  Based  Engine  –  механизм  обработки  данных  на  базе   описываемых  правил   •  Geo  Locator  –  компонент  обогащения  данных  данными  по   геолокации   •  Profile  builder  –  компонент  сбора  «интегрированного»   профиля  пользователя   cleverdata.ru    |    info@cleverdata.ru  
  7. 7. Место  продукта  в  ИТ  инфраструктуре   Customer  Transacbon  Data     Web  analybcs   CRM   DWH/CM/Call  center   Company  Data   Social  Data     Web  surfing   eCommerce  Data   3th  Party  Data   Mobile  Data   Data  Exchange   3th  Party  Offline  Data   BI  and  reporbng   Company  Web  Site   Mobile  Apps   Company  acbvibes   Customers  acbvibes   Web  and  Mobile   RTB  ecosystem  (DSP)   Partners  web  and  mobile   Social   Web   Email   Campaign  Management   Campaign   management   SMS   Call  center   Offline   1DMP   Big  Data   storage   Real  Time   storage   Predicbve   analybcs   Scoring  Data     Собрать  максимальное   количество  данных   Определить  что,  кому  и   как  следует  предложить   Донести  маркетинговое   сообщение  до  клиента   Open  Internet   Data   cleverdata.ru    |    info@cleverdata.ru  
  8. 8. cleverdata.ru    |    info@cleverdata.ru   Задача  построения  профилей  
  9. 9. cleverdata.ru    |    info@cleverdata.ru   Поток  данных  
  10. 10. cleverdata.ru    |    info@cleverdata.ru   Протестированные  компоненты   •  Raw  Data  Storage  –  хранение  «сырых»  данных   •  Master  Data  Storage  –  хранение  готовых  аудиторных   профилей   •  Raw  Data  Loader  –  механизмы  загрузки  данных  из  внешних   источников   •  User  tracker  –  механизм  трекинга  пользователей,  поддержка   таблицы  синхронизации,  синхронизация  трафика  с   внешними  поставщиками   •  Master  Data  Connector  –  API  работы  с  внешними   потребителями  данных  (DSP/SSP)   •  Web  Crawler  –  обогащение  данных  веб  контентом  из   открытых  источников   •  Predic|on  Engine  –  механизм  обработки  данных  алгоритмами   машинного  обучения   •  Rule  Based  Engine  –  механизм  обработки  данных  на  базе   описываемых  правил   •  Geo  Locator  –  компонент  обогащения  данных  данными  по   геолокации   •  Profile  builder  –  компонент  сбора  «интегрированного»   профиля  пользователя  
  11. 11. cleverdata.ru    |    info@cleverdata.ru   Топология  развертывания  
  12. 12. cleverdata.ru    |    info@cleverdata.ru   Вызовы   visitors   publishers   adver|sers  100  ms   50  ms   20  ms   10.000+  rps  
  13. 13. cleverdata.ru    |    info@cleverdata.ru   Hardware   Hardware  (12  Nodes)   •  Intel(R)  Xeon(R)  CPU  E5-­‐2699  v3  @   2.30GHz,  36  physical  and  72  virtual  cores     •  128  GB  RAM   •  12  x  4  TB  HDD   •  20  GBPS  Infiniband  NICs  
  14. 14. cleverdata.ru    |    info@cleverdata.ru   So‘ware   So‘ware   •  CDH  5.3.0  (Hadoop  2.5.0)   •  Oracle  NoSQL  EE  3.2.5   •  Wrk  (latest)     •  Nmon  14g  &  Analizer  4.0     Data   •  73  GB  of  raw  gzipped  data   •  6  x  106  of  HTML  pages   •  256  MB  block  size   •  512  bytes  messages  
  15. 15. cleverdata.ru    |    info@cleverdata.ru   Построение  профилей  из   6x106    HTML-­‐страниц  
  16. 16. cleverdata.ru    |    info@cleverdata.ru   Построение  профиля    
  17. 17. cleverdata.ru    |    info@cleverdata.ru   Время  выполнения  от  количества  нод,  с  
  18. 18. cleverdata.ru    |    info@cleverdata.ru   CPU-­‐|me  на  ноду,  с  
  19. 19. cleverdata.ru    |    info@cleverdata.ru   CPU-­‐|me  на  ядро,  с  
  20. 20. cleverdata.ru    |    info@cleverdata.ru   RAM  на  ноду,  GB  
  21. 21. cleverdata.ru    |    info@cleverdata.ru   Раздача  пользовательских   профилей  
  22. 22. cleverdata.ru    |    info@cleverdata.ru   Раздача  профиля    
  23. 23. cleverdata.ru    |    info@cleverdata.ru   Пропускная  способность  от  кол-­‐ва  ядер,  тыс.  
  24. 24. cleverdata.ru    |    info@cleverdata.ru   Время  отклика  от  кол-­‐ва  ядер,  90%  и  99%,  мс.    
  25. 25. cleverdata.ru    |    info@cleverdata.ru   Утилизация  CPU  от  кол-­‐ва  ядер,  %  
  26. 26. cleverdata.ru    |    info@cleverdata.ru   Утилизация  NICs  от  кол-­‐ва  ядер,  тыс.  pps  
  27. 27. cleverdata.ru    |    info@cleverdata.ru   Результаты  
  28. 28. cleverdata.ru    |    info@cleverdata.ru   •  Раздача  пользовательских  профилей  с  одного  узла  Oracle   Big  Data  Appliance  составила  более  101,5  тысяч  (в  1,45  раз   больше   изначально   ожидаемого   числа)   запросов   в   секунду;     •  Время   отклика   на   запрос   в   99%   случаев   не   превысило   1,17  миллисекунды  (в  1,7  раза  лучше  ожидаемого);     •  Время   классификации   Интернет-­‐страниц   и   построение   пользовательских   профилей   на   6   узлах   Oracle   Big   Data   Appliance   составило   11   минут   17   секунд,   и   оказалось   в   5,43  раза  лучше  ожидаемых  результатов.   Результаты  
  29. 29. info@cleverleaf.co.uk     ::   info@cleverdata.ru   cleverleaf.co.uk   ::   cleverdata.ru   1dmp.io   ::   crawler.1dmp.io   facebook.com/CleverData     ::   +7  (495)  967-­‐66-­‐50    

×