Kirill Sidorov, VP of Data Management at AUTODOC World of Big Data

1. Данные от точки возникновения до
точки использования
Почему вы наверняка всё запорите
Autodoc GmbH Josef-Orlopp-Straße 55 10365
Berlin

2. General overview: me
Kirill Sidorov
38 years
Hobbies:
Go - Chinese strategic board game,
micro-controllers, inline skating,
snowboarding
Patent:
An electromechanic landscape
programmable interactive display (2011)
17 years
Project management
urban ecology
public events
construction
software development
agritech
11 years
IT Project mngr.
Business analyst
USA digital marketing
RTB
analytical interfaces
bigdata
highload
7 years
System / data
analysis & development
automated marketing researches
semi-automated competitor analysis
data collection / preparation / storage
user behaviour analysis
It’s my 4th big project in Data filed

3. Для начала простой пример
как это обычно начинается
-

4. Простой пример
Прикрутим GA
+ +
=

5. Пример становится чуть сложнее…
Что нужно знать про GA
А может сразу
enterprise edition?
or
+
+
А хранить где?
or
еще раз
or
Ну может вы
уже лютый
enterprise?

6. Пример становится чуть сложнее…
Что нужно знать про GA
А может сразу
enterprise edition?
or
+
+
А хранить где?
or
еще раз
or
Ну может вы
уже лютый
enterprise?
А что там с
семплированием?
А связанность
данных между
сессиями?
А как
обеспечить
транзитивную
аналитику?
А custom
dimensions сколько
можно будет всунуть?
Это ж
поведенческие
данные - как
валидировать?
А стоить то по
итогу сколько будет?
Куда писать select * …

7. Итак, что нам в целом нужно сделать?
Очень упрощённая схема
!
! → "
→ #
→ → →
"
#
"
#
"
#
!
#
!
#
!
#
"
→ →
Data origin
Application processing
1st OLAP DWH ETL
2nd OLAP DWH ETL
OLTP Database
OLTP
Online Transaction
Processing
OLAP
Processing service
OLAP
online analytical
processing
Data Lake
Data marts
BI reports

8. А что ещё будем собирать?
"# "

9. May the data
be with you