Downloaded 26 times
Uploaded byOntico
Ошибки проектирования высоконагруженных проектов / Максим Ехлаков (OneTwoRent)
Документ обсуждает ошибки проектирования высоконагруженных проектов, выделяя основные проблемы, такие как ложные цели, инерция мышления и неуместные решения. Приведен кейс 'Уральского портала', который успешно функционировал несколько лет, несмотря на сложности с масштабированием и архитектурой. Также рассмотрен случай проекта onetworent.com с акцентом на микросервисную архитектуру и оптимизацию работы с данными.
More Related Content
Similar to Ошибки проектирования высоконагруженных проектов / Максим Ехлаков (OneTwoRent)
Ошибки проектирования высоконагруженных проектов / Максим Ехлаков (OneTwoRent)
- 1. Ошибки проектирования высоконагруженных проектов икак их избежать Максим Ехлаков
- 2. Десятки проблемных мест Архитектура •распределение логики, данные, ... Клиент • дизайн, UX, фреймворки, ... Сервер • среда исполнения, фреймворки, ... СУБД • структура, логика, транзакции, ...
- 3. Сотни проблемных мест Интерфейсы •протоколы, форматы данных, время, ... Статистика • сбор, хранение, анализ, ... Тяжелый контент • прием и отдача, сборка мусора ... Бекап • объекты, восстановление, ... Архитектура • распределение логики, данные, ... Клиент • дизайн, UX, фреймворки, ... Сервер • среда исполнения, фреймворки, ... СУБД • структура, логика, транзакции, ...
- 4. Тысячи проблемных мест Масштабирование •медленное, быстрое, ... Мониторинг • сбор, хранение, анализ, ... Безопасность • сертификаты, анализ уязвимостей, ... Управление • методология, целеполагание, ... Интерфейсы • протоколы, форматы данных, время, ... Статистика • сбор, хранение, анализ, ... Тяжелый контент • прием и отдача, сборка мусора ... Бекап • объекты, восстановление, ... Архитектура • распределение логики, данные, ... Клиент • дизайн, UX, фреймворки, ... Сервер • среда исполнения, фреймворки, ... СУБД • структура, логика, транзакции, ...
- 5.
- 6.
- 7. Кейс: «Уральский портал» ~2006–2009гг. ЦА — все абоненты интернета в уральском регионе (до 10 млн чел). Цель — замыкание абонентского трафика Суть — информационно-развлекательный портал
- 8. Контекст 2006–2007 • JavaEE 5 • Spring 2.0 • PHP 5.2 • Symphony, Codeigniter, Zend Framework (первые версии) • MySQL 5.0 Еще нет: MongoDB (2009), NodeJS (2009), Composer (2012), …
- 9.
- 10. «Уральский портал»: архитектура •Вертикальное масштабирование, IBM zSeries (AIX) • Сервер приложений IBM Websphere (Java EE); Spring Framework • СУБД Oracle • Бекап на ленту
- 11. «Уральский портал»: результаты •В пике несколько тысяч пользователей онлайн • Самый популярный раздел портала — форум • Сервис закрыт через ~два года после старта
- 12. «Уральский портал» ~2006–2009 гг. ЦА— все абоненты интернета в уральском регионе (до 10 млн чел) Цель — замыкание абонентского трафика Суть — информационно-развлекательный портал Ложная цель
- 13.
- 14. «Уральский портал»: архитектура •Вертикальное масштабирование • Сервер приложений IBM Websphere (Java EE); Spring Framework • СУБД Oracle • Бекап на ленту Неправильно на старте
- 15. Масштабирование Горизонтальное Бонус: кластеризация и распределениенагрузки by design Вертикальное ✗ ✓
- 16. «Уральский портал»: архитектура •Вертикальное масштабирование • Сервер приложений IBM Websphere (Java EE); Spring Framework • СУБД Oracle • Бекап на ленту Неправильно на старте
- 17. Среда исполнения PHP В 2017г. — также JS, Go Java EE ✗ ✓
- 18. «Уральский портал»: архитектура •Вертикальное масштабирование • Сервер приложений IBM Websphere (Java EE); Spring Framework • СУБД Oracle • Бекап на ленту Неподходящая база
- 19. База данных Денормализация SQL, NoSQL,Key-value Транзакционная RDBMS Один проект — одна база ✗ ✓
- 20. «Уральский портал»: архитектура •Вертикальное масштабирование • Сервер приложений IBM Websphere (Java EE); Spring Framework • СУБД Oracle • Бекап на ленту Негодный бекап
- 21.
- 22. «Уральский портал»: техническиепроблемы • Низкая надежность оборудования • Медленное восстановление после аварий • Отсутствие быстрого масштабирования
- 23. «Уральский портал»: техническиепроблемы • Низкая надежность оборудования • Медленное восстановление после аварий • Отсутствие быстрого масштабирования • Прицеп: медленный цикл разработки
- 24.
- 25. Корни зла 1. Ложныецели a. Делаем ненужное b. Идем не туда
- 26. Корни зла 1. Ложныецели a. Делаем ненужное b. Идем не туда 2. Инерция мышления a. Знакомые инструменты b. Знакомые паттерны c. «Синдром утенка»
- 27. Корни зла 1. Ложныецели a. Делаем ненужное b. Идем не туда 2. Инерция мышления a. Знакомые инструменты b. Знакомые паттерны c. «Синдром утенка» 3. Мода
- 28.
- 29. Как избежать ошибок? •НЕ использовать готовые решения и подходы
- 30. Что делать, чтобыизбежать ошибок • НЕ использовать готовые решения и подходы • НЕ использовать популярные решения
- 31. Что делать, чтобыизбежать ошибок • НЕ использовать готовые решения и подходы • НЕ использовать популярные решения • НЕ использовать очевидные решения
- 32. Что делать, чтобыизбежать ошибок • НЕ использовать готовые решения и подходы • НЕ использовать популярные решения • НЕ использовать очевидные решения • т. е. ВСЕГДА анализировать принимаемые решения
- 33. Кейс: OneTwoRent.com Агрегатор объявленийоб аренде всего ЦА — весь мир (на старте — Россия и СНГ) Релиз 12.07.2017
- 34. OneTwoRent: техническая цель •Время отклика сервера < 50 мс • UX: три клика
- 35. OneTwoRent: архитектура Mobile Web Web backend CDN Mobile APICore Fast DB Cache Slow DB Large DB
- 36. OneTwoRent: архитектура Микросервисная • PHP+Phalconбекенд веб-версии • NodeJS бекенд мобильного приложения • Go отдельные сильно изолированные сервисы
- 37. Почему Phalcon? Источники -https://www.slideshare.net/oleksandrtorosh/phalcon-v2-1-27168312 http://thinking.bohdanvorona.name/phalcon/
- 38. OneTwoRent: СУБД База подбираетсяпод задачу, а не задача решается под базу • Горячие данные MongoDB • Медленные данные MySQL • Исторические данные Clickhouse
- 39. OneTwoRent: СУБД База подбираетсяпод задачу, а не задача решается под базу • Горячие данные MongoDB • Медленные данные MySQL • Исторические данные Clickhouse Объем данных Частота обращений
- 40. OneTwoRent: архитектура • Сильноденормализованная схема данных • Отложенная и предварительная обработка • Многослойное кэширование
- 41. Спасибо за внимание! МаксимЕхлаков