Nikita Galkin "5 production Node.js stories"

1. 5 production
Node.js stories
Nikita Galkin

2. Галкин
Никита
Люблю и умею:
▰ Node.js, OpenSource, TypeScript, Docker, AWS
▰ Распиливать монолиты на микросервисы
Верю:
▰ Проблем нужно решать на правильном уровне
▰ Сложности в людях, а не технологиях
▰ Идеи и решения надо “продавать”
Доклады:
▰ Spec driven development in Microservices
▰ Использовании TypeScript для Node.js приложений
▰ Best practices of Node.js use in production
▰ Testing in Node.js World
Ссылки:
GitHub Twitter Facebook
2

3. 3
Зачем этот
доклад?

4. Hard
▰Base FE or Mobile
▰DB
▰Base Linux + DevOps
▰Protocols (HTTP, bin, WS)
▰Utils (git, docker, etc)
▰StackoverflowDD
Требования к Node.js разработчику
Soft
▰English
▰Мотивация учить
технологии
▰Умение работать в
команде
▰Адекватность
4

5. ▰Уровень зарплат аналогичен Java
▰Опыта меньше
▰Часто переходят из Front-end разработки
▰Технологии очень быстро меняются
Факты о Node.js разработчиках
5

6. В каком формате
этот доклад?
6

7. ▰Node.js не как CLI tools
▰Не AWS Lambda
▰Node.js server работает в production
Детали
7

8. Let's pack our app!
8

9. Компания:
Distributed with outsource
Проект:
web server on embedded
Задача:
Обеспечить установку прошивки
оффлайн
Детали
9

10. “Давайте используем Webpack!
Просто сделаем bundle с
нашим приложением и будем
деплоить уже его.
Принятое решение

11. Не работает у части
клиентов.

12. Различные
процессоры на
устройствах

13. Теория
▰ Существуют pre<scriptname> и post<scriptname> hooks
▰ Во время postinstall происходит установка и компиляция bin-ой
части вашего приложения
▰ Компиляция и установка являются OS, node version, cpu architecture
зависимыми
▰ [Лайфхак]: Стоит использовать optionalDependencies для OS-
зависимых пакетов.
13

14. Делаем build под
конкретное
устройство

15. npm install
Аналогия
конфетно-цветочный период

16. Bring me the data!
16

17. Компания:
Big product company
Проект:
Поиск и выдача сложно-
структурированных данных
Задача:
Изменить структура ответа для UI
Детали
17

18. ▰UI
▰Nginx
▰Node.js
▰Solr
Шаги запроса
18

19. Тормозит :(

20. ▰UI хочет другую структуру данных
▰Nginx не кэширует эти динамические запросы
▰Node.js использует дешевые сервера
▰Solr использует дорогие сервера. Кэшировать дорого
по железу.
Шаги запроса
20

21. “Давайте Node.js будет менять
структура ответа и еще и
кэшировать?
Принятое решение

22. ▰UI хочет 10-100кб
▰Nginx не кэширует эти динамические запросы
▰Node.js трансформирует 3Мб
▰Solr отдает 3 Мб
Шаги запроса
22

23. Преобразование большого
объекта много работы для
CPU

24. Теория
▰ Node.js однопроцессорна по своей природе
▰ Существует Event Loop
▰ Большое значение Event Loop Delay свидетельствует о плохой
архитектуре кода Node.js приложения
▰ Для самоконтроля стоит использовать модуль blocked или его
аналоги
▰ PM2 показывает Event Loop Delay из коробки
24

25. Solr –трансформация
Nginx – кэширование
Node.js – проксирование

26. Блочить Event Loop
Аналогия
Заставлять девушку
думать

27. Where is my data?
27

28. Компания:
Outsource
Проект:
Microservices with Event Source
Ситуация:
Потеряли данные о 16000 событиях
Детали
28

29. Детали
29

30. “Очередь была динамичекая и
создавалась под каждый
инстанс микросервиса
отдельно.
Обнаруженная проблема

31. Разработчики не думают о
выключении своего
приложения

32. Разработчики не думают
как выключать свое
приложение

33. 33
Так как
выключать?

34. Как выключать?
34
function stopHandler() {
process.exit();
}
process.on("SIGTERM", stopHandler);

35. Как выключать?
35
let server = app.listen(settings.port, () => {
logger.info(`Server started on port ${settings.port}
with pid ${process.pid}`);
});
function stopHandler() {
server.close();
process.exit();
}
process.on("SIGTERM", stopHandler);

36. 36
Просто перестань ей
звонить!

37. Теория
▰ Подготовка
▻ Имейте доступ ко всем соединениям
▻ Сохраняйти id таймеров и интервалов
▻ Повести process.on для сигналов и exit
▰ Выключение
▻ Выключите все соединения
▻ Остановите все таймеры и интервалы
▻ Добавьте таймер, если остановка будет слишком долгой 37

38. Graceful Shutdown
Аналогия
расставайтесь красиво
брачный контракт

39. New version was
failed
39

40. Компания:
Outstaff company
Проект:
Mobile application with Node.js backend
Ситуация:
Новая версия Node.js сервера не
запустилась. Старая тоже перестала
запускаться
Детали
40

41. ▰Npm 4. Shrinkwrap не использовался
▰Зависимость третьего уровня
обновилась, поэтому все перестало
работать
▰С NPM 5 и package-lock.json этого не
случится
В двух словах
41

42. MongoDB is down
42

43. Компания:
Small outsource company
Проект:
E-commerce startup
Ситуация:
Упала MongoDB на продакшене
Детали
43

44. ▰OoM killer убил MongoDB
▰До этого он убивал Node.js
▰А PM2 рестартил Node.js
▰Почему течет нода не ясно
* Постмортемы
Постмортем*
44

45. ▰Возьмем server побольше
▰Добавим мониторинг на OoM Killer
▰Запустим Node.js в дебаг режиме
▰Дождемся как поплывет память
Решение
45

46. 46
Аналогия?

47. Используйте Debug!

48. ▰node --inspect
▰Node inspector manager (NIM)
▰Memory snapshot
▰sigusr1 переведет Node.js в дебаг
Теория
48

49. Debug on Production
Аналогия
поговорить
здесь и сейчас

50. 50
Выводы

51. ▰npm install важен
▰Используйте debug
▰Graceful Shutdown
▰Избегайте Event Loop блокировок
▰Учите Node.js
Выводы
51

52. That's All Folks!
@galk_in
52