От сырых данных до отчета. Архитектурные подходы в проекте Автотека / Николай Балакирев (Avito)
От сырых данных до отчета. Архитектурные подходы в проекте Автотека / Николай Балакирев (Avito)
РИТ++ 2017 Зал Сан-Паулу, 5 июня, 17:00 Тезисы: http://ritfest.ru/2017/abstracts/2736.html Автотека (autoteka.ru) - новый проект, с помощью которого можно проверить историю автомобиля. Для получения данных по конкретному VIN за секунду сервису нужно посетить более 10 сторонних API, а также извлечь заранее собранные данные от дилеров и из других источников, предоставляющих статичную информацию. На этом сложности не заканчиваются, структура данных у каждого источника своя, встречаются пересечения записей по времени. Используя VIN и дату события в качестве уникальных идентификаторов, мы производим слияние по определенному набору правил, что позволяет нам получить выборку событий, интересных для конечного потребителя, исключив оттуда всё лишнее. В докладе я расскажу про особенности нашей архитектуры, как мы генерируем отчет, как устроен поиск и агрегация, и для чего мы их выносим в отдельные микросервисы.
Recommended
More Related Content
More from Ontico
От сырых данных до отчета. Архитектурные подходы в проекте Автотека / Николай Балакирев (Avito)
- 1. От сырых данных до отчета. Архитектурные подходы в проекте Автотека Николай Балакирев
- 2. 2
- 3. Знакомьтесь, Аркадий! 43
- 4. Была бы у меня тачка?!!.. 44
- 5. А-а-а-авто кредит! 45
- 6. Аркадий решил проверить авто 46
- 7. Аркадий вбивает VIN 47
- 8. Поиск по БД сервиса 48
- 9. Аркадий производит оплату 49
- 10. Аркадий просматривает отчет 410
- 11. MVP!!!!111 411
- 12. Данных за вчера все еще нет!!! 412
- 13. Переработанная архитектура 413 Downloader
- 14. Отказываемся от Downloader 414 Downloader
- 15. Используем Service Downloader 415
- 16. Аркадий решил проверить авто 416
- 17. Аркадий вбивает VIN 417
- 18. Поиск по БД сервиса 418
- 19. Недостаточно данных … ??? 419
- 20. Как было 420
- 21. Добавляем очереди! 421
- 22. Аркадий решил проверить авто 422
- 23. Аркадий вбивает VIN 423
- 24. Поиск по БД сервиса 424
- 25. Аркадий производит оплату 425
- 26. Аркадий просматривает отчет 426
- 27. Серьезно??? 427
- 28. Как было 428
- 29. Проверка в момент запроса! 429
- 30. Аркадий решил проверить авто 430
- 31. Аркадий вбивает VIN 431
- 32. Поиск по БД сервиса 432
- 33. Поиск данных в источниках 433
- 34. Аркадий производит оплату 434
- 35. Аркадий просматривает отчет 435
- 36. А если тачка в залоге ????? 436
- 37. Как было 437
- 38. Расширение архитектуры 438
- 39. Аркадий решил проверить авто 439
- 40. Аркадий вбивает VIN 440
- 41. Поиск по БД сервиса 441
- 42. Поиск данных в источниках 442
- 43. Аркадий производит оплату 443
- 44. Аркадий успешно оплатил 444
- 45. Поиск данных в источниках 445
- 46. Аркадий просматривает отчет 446
- 47. Мазда Веста??? 447
- 48. Да ладно???? 448
- 49. Архитектурные проблемы 449
- 50. Микросервисы в помощь 450
- 51. Importer как сервис 451
- 52. Ответственность за статичные данные 452
- 53. API Gateway 453
- 54. Ответственность за динамичные данные 454
- 55. Изоляция Core API 455
- 56. Микросервис генерации отчетов
- 57. Итог • Быстрая генерация отчета • Гибкость добавления источников • Гибкость изменения event-flow • API Gateway
- 58. Спасибо за внимание!
- 59. 59 github.com/madfaill Балакирев Николай Вопросы? madfaill@gmail.com facebook.com/madfaill