1.
NodeJS в
HighLoad
проекте
Владимир Акрицкий

2.
О себе
Тимлид в компании iAGE Engineering в разработке
высоконагруженных проектов
Сооснователь хакерспейса FutureLab в г.
Ульяновске

3.
О проекте
DMP (Data Management Platform) — база
данных интересов пользователей

4.
Помечаем пользователя при помощи
Cookie

5.
Сортируем по интересам

6.
10 000 запросов в секунду
время ответа не более 10 мс
обработка 100+ ГБ логов в сутки
Нагрузка

7.
7 микросервисов
около 80% кода на NodeJS
Архитектура

8.
Никто не знает, как это готовить...

9.
Выбор технологий
• .Net
• PHP
• Ruby
• Go
• Python
• NodeJS

10.
Хорошее начало
Быстрая разработка
Быстрые результаты
Довольный клиент

11.
Хорошо - хорошо, да не очень-то...

12.
Проблемы
• Спагетти код = Callback hell
• Сторонние модули
• Утечка
• Нехватка памяти

13.
Нехватка памяти
• 2GB хватит всем
• Максимальное увеличение до 8GB
• Обязательно учитывать этот факт и при
необходимости разносить на процессы

14.
Утечка
• Чем больше памяти уходит, тем дольше ответ
на запрос
• heapdump не дает никаких результатов
• За неделю утечки время ответа переваливало
за 20 мс

15.
Что же делать???

16.
Временное решение
Перезапуск приложения каждую ночь.

17.
Cторонние модули
• Оказалось для нас самой страшной проблемой

18.
Крах базы — крах всего

19.
Попытка разобраться
• Ошибка воспроизводится в случайный момент
и только под определенной нагрузкой
• Откат версии не помогает
• Разработчики модуля не могут воспроизвести

20.
Спасение
Спустя больше месяца получили фикс
А с ним и сюрприз…..
После обновления модуля пропала утечка

21.
Спагетти код
Модель
Модуль
Микросервис
М
М
М

22.
1 Этап
• Выделяем большие функциональности в отдельные
проекты, они же микросервисы
• Назначаем ответственных за каждый сервис
Плюсы:
– Из одной большой свалки в несколько поменьше
– У ответственности есть границы
Минусы:
– Увеличилось время обмена данными

23.
Микросервисы

24.
Было...
≤ 3мс
Дима
Вася
Петя

25.
Стало...
≤ 3мс
< 1мс < 1мс < 1мс
Дима
Вася
Петя

26.
Коммуникация
• HTTP
– QPS: 10k — 30k
– Time: 1 — 3 мс
• Наша реализация
– QPS: 100+k
– Time: < 1 мс
aud-socket-server
aud-socket-client

27.
2 Этап
• Все, что возможно, выносим в модели, оставляя
только бизнес логику;
• Но не углубляемся в ООП;
Плюсы:
– Код становится читабельнее
Минусы:
– Увеличивается порог вхождения

28.
Без моделей
this.db.getUsers(id, function(err, user) {
this.db.getProfiles(user.profileId, function(err, profile) {
doSomthingWithProfile(profile);
});
});

29.
С моделями
Profiles.getByUser(id, doSomthingWithProfile);
Users = {
...
}
Profiles = {
...
}

30.
3 Этап
• Группы моделей оборачиваем в API и превращаем в
модули (npm)
Плюсы:
– Код становится переносимым
Минусы:
– Надо следить за версиями в каждом микросервисе

31.
Модули
v1.0.3

32.
Модули
v2.0.0 v1.0.3

33.
Package.json
"dependencies": {
...
"my_module": "git+ssh://git@gitrepo:user/repo.git#v1.0.3",
...
}

34.
Вывод
• Дробите все на мелкие части (МММ);
• При поиске проблем в первую очередь отсекайте
все чужое;
• Не забывайте про лимиты;
• Воспринимайте NodeJS как прототип, который
требуется впоследствии переделывать.

35.
Вопросы?
Владимир Акрицкий
skype: leninlin e-mail: lenin@iage.net