Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Cesta ke statistikám v reálném čase

8 views

Published on

O přechodu z Hadoop MapReduce na Apacha Flink.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Cesta ke statistikám v reálném čase

  1. 1. Cesta ke statistikám v reálném čase Jiří Mašek Product manager
  2. 2. Sklik Oslovení nových zákazníků na pomocí reklamních ploch Seznam
  3. 3. Seznam Partner Monetizace webů pomocí reklamních ploch Seznam
  4. 4. ~ 300 milionů relevantních reklam za den ~ 45 ms na výdej reklamy > 2 TB aktivních relačních dat > 8 TB zagregovaných statistických dat Reklamní systém v číslech
  5. 5. 0 TB 10 TB 20 TB 30 TB 2010 2011 2012 2013 2014 2015 2016 2017 Kontinuální růst objemu zpracovávaných dat
  6. 6. • Statistika pro inzerenty • Statistika pro partnery • Fakturace agenturních účtů • Vyplácení provizí partnerům • Zpětná vazba pro další výdej reklam • Retargeting • Predikce reklamního prostoru Využití statistických dat
  7. 7. Surová data Sumarizovaná data Agregátor Agregace Surová data Surová data
  8. 8. Batchové zpracování statistických dat LogyVýdej HDFS Agregátory Databáze LogyVýdej LogyVýdej LogyVýdej LogyVýdej
  9. 9. Streamové zpracování statistických dat Výdej Fronta zpráv Streamové zpracování Databáze Výdej Výdej Výdej Výdej
  10. 10. Monitoring On-line výkon reklamního systému
  11. 11. Zpětná vazba Výběr reklamy Proklik ReklamaZpětná vazba
  12. 12. Zpětná vazba (0) LogyVýdej Fronta zpráv Databáze LogyVýdej LogyVýdej LogyVýdej LogyVýdej Streamové zpracování Konvertor Fronta zpráv
  13. 13. Zpětná vazba (1) Výdej Fronta zpráv Streamové zpracování Databáze Výdej Výdej Výdej Výdej
  14. 14. Přechod na streamové zpracování (0) LogyVýdej HDFS Databáze LogyVýdej LogyVýdej LogyVýdej LogyVýdej Agregátory
  15. 15. Přechod na streamové zpracování (1) LogyVýdej HDFS Databáze LogyVýdej LogyVýdej LogyVýdej LogyVýdej Fronta zpráv Agregátory Sloupcově orientované úložistě
  16. 16. Přechod na streamové zpracování (2) Výdej Fronta zpráv Streamové zpracování Databáze Výdej Výdej Výdej Výdej Agregátory Sloupcově orientované úložistě Agregátory
  17. 17. Jiří Mašek Product manager E-mail: jiri.masek2@firma.seznam.cz Twitter: @jirimasek Kontakt

×