Download as PDF, PPTX
Uploaded byOntico
NodeJS в HighLoad проекте / Акрицкий Владимир (iAge Engineering)
Документ описывает опыт Владимира Акрицкого в разработке высоконагруженных проектов на Node.js, включая проект DMP, где обрабатываются 10 000 запросов в секунду. Он делится проблемами, такими как утечки памяти, спагетти-код и необходимость временных решений, а также описывает процесс трансформации кода в микросервисы для повышения производительности и читаемости. Акрицкий рекомендует дробить проект на мелкие части и обращать внимание на сторонние модули при поиске проблем.
More Related Content
Similar to NodeJS в HighLoad проекте / Акрицкий Владимир (iAge Engineering)
NodeJS в HighLoad проекте / Акрицкий Владимир (iAge Engineering)
- 1.
- 2. О себе Тимлид вкомпании iAGE Engineering в разработке высоконагруженных проектов Сооснователь хакерспейса FutureLab в г. Ульяновске
- 3. О проекте DMP (DataManagement Platform) — база данных интересов пользователей
- 4. Помечаем пользователя припомощи Cookie
- 5.
- 6. 10 000 запросовв секунду время ответа не более 10 мс обработка 100+ ГБ логов в сутки Нагрузка
- 7. 7 микросервисов около 80%кода на NodeJS Архитектура
- 8. Никто не знает,как это готовить...
- 9. Выбор технологий • .Net •PHP • Ruby • Go • Python • NodeJS
- 10. Хорошее начало Быстрая разработка Быстрыерезультаты Довольный клиент
- 11. Хорошо - хорошо,да не очень-то...
- 12. Проблемы • Спагетти код= Callback hell • Сторонние модули • Утечка • Нехватка памяти
- 13. Нехватка памяти • 2GBхватит всем • Максимальное увеличение до 8GB • Обязательно учитывать этот факт и при необходимости разносить на процессы
- 14. Утечка • Чем большепамяти уходит, тем дольше ответ на запрос • heapdump не дает никаких результатов • За неделю утечки время ответа переваливало за 20 мс
- 15.
- 16. Временное решение Перезапуск приложениякаждую ночь.
- 17. Cторонние модули • Оказалосьдля нас самой страшной проблемой
- 18. Крах базы —крах всего
- 19. Попытка разобраться • Ошибкавоспроизводится в случайный момент и только под определенной нагрузкой • Откат версии не помогает • Разработчики модуля не могут воспроизвести
- 20. Спасение Спустя больше месяцаполучили фикс А с ним и сюрприз….. После обновления модуля пропала утечка
- 21.
- 22. 1 Этап • Выделяембольшие функциональности в отдельные проекты, они же микросервисы • Назначаем ответственных за каждый сервис Плюсы: – Из одной большой свалки в несколько поменьше – У ответственности есть границы Минусы: – Увеличилось время обмена данными
- 23.
- 24.
- 25. Стало... ≤ 3мс < 1мс< 1мс < 1мс Дима Вася Петя
- 26. Коммуникация • HTTP – QPS:10k — 30k – Time: 1 — 3 мс • Наша реализация – QPS: 100+k – Time: < 1 мс aud-socket-server aud-socket-client
- 27. 2 Этап • Все,что возможно, выносим в модели, оставляя только бизнес логику; • Но не углубляемся в ООП; Плюсы: – Код становится читабельнее Минусы: – Увеличивается порог вхождения
- 28. Без моделей this.db.getUsers(id, function(err,user) { this.db.getProfiles(user.profileId, function(err, profile) { doSomthingWithProfile(profile); }); });
- 29. С моделями Profiles.getByUser(id, doSomthingWithProfile); Users= { ... } Profiles = { ... }
- 30. 3 Этап • Группымоделей оборачиваем в API и превращаем в модули (npm) Плюсы: – Код становится переносимым Минусы: – Надо следить за версиями в каждом микросервисе
- 31.
- 32.
- 33.
- 34. Вывод • Дробите всена мелкие части (МММ); • При поиске проблем в первую очередь отсекайте все чужое; • Не забывайте про лимиты; • Воспринимайте NodeJS как прототип, который требуется впоследствии переделывать.
- 35. Вопросы? Владимир Акрицкий skype: leninline-mail: lenin@iage.net