Презентация с GDG Devfest Алматы, рассказывающая о том, как мы рефакторили мололит в микросервисы на Go. Presentation at GDG Devfest Almaty describing how we refactored monolithe to microservices on Go. Автор: Андрей Минкин / Andrew Minkin

1. Рефакторинг монолита в
микросервисы на Go
Минкин Андрей

2. Кто я
• TeamLead в MadDevs.io
• Nambataxi.com
• Nambafood.kg
• Cybernamba.com
• Kuppi.kg
• Moika.kg
• House.kg

3. Namba Taxi
• 4 года на рынке Бишкека

4. Namba Taxi
• 4 года на рынке Бишкека
• Не менее 8к заказов в сутки

5. Namba Taxi
• 4 года на рынке Бишкека
• Не менее 8к заказов в сутки
• 600+ водителей на линии

6. Namba Taxi
• 4 года на рынке Бишкека
• Не менее 8к заказов в сутки
• 600+ водителей на линии
• 300к довольных клиентов

7. Namba Taxi
• 4 года на рынке Бишкека
• Не менее 8к заказов в сутки
• 600+ водителей на линии
• 300к довольных клиентов
• 300 рпс на серверах

8. AVG response time
• Водители 20 ms
• Операторы 2.5 ms

9. Что такое такси

10. Что такое такси
• Клиенты
• Водители
• Операторы КЦ
• Контроль качества
• Back office

11. Как вызвать такси

12. Как вызвать такси
• Приложение

13. Как вызвать такси
• Приложение
• СМС

14. Как вызвать такси
• Приложение
• СМС
• Сайт

15. Как вызвать такси
• Приложение
• СМС
• Сайт
• IPTV

16. Как вызвать такси
• Приложение
• СМС
• Сайт
• IPTV
• Сторонние приложения (вызов по API)

17. Как вызвать такси
• Приложение
• СМС
• Сайт
• IPTV
• Сторонние приложения (вызов по API)
• Позвонить оператору

18. Водители

19. Водители

20. Что делает оператор

21. Что делает оператор
• Клиенты
• Входящие/исходящие звонки

22. Что делает оператор
• Клиенты
• Входящие/исходящие звонки
• Заказы
• Наблюдение

23. Что делает оператор
• Клиенты
• Входящие/исходящие звонки
• Заказы
• Наблюдение
• Водители
• Тревога
• Подержка

24. Контроль качества

25. Back-office
• Отчеты
• Отчеты
• Отчеты

26. Что по архитектуре
• SOA

27. Что по архитектуре
• SOA
• Redis

28. Что по архитектуре
• Django монолит
• Go, Twisted

29. Раньше
• Ruby
• Node.js

30. Storage
• Percona
• Redis
• Elasticsearch

31. Сервисы? Какие сервисы
• Отправщик пушей.

32. Сервисы? Какие сервисы
• Отправщик пушей.
• Отправщик СМС

33. Сервисы? Какие сервисы
• Отправщик пушей.
• Отправщик СМС
• Backend для водителей

34. Сервисы? Какие сервисы
• Отправщик пушей.
• Отправщик СМС
• Прокси для водителей
• Бекенд для клиентов

35. А еще у нас есть Docker

36. Что в Django
• Отдел контроля качества
• Прием платежей
• Учетное ядро
• Отчеты
• API для водителей
• Менеджерская для управления

37. Проблемы
• Приложение – один большой кусок, который нужно
выкатывать очень часто
• Невозможно параллельно, многопоточно выполнять какие-
то задачи
• Много интеграций со сторонними сервисами

38. Решения
• Поддерживать существующее и жить дальше
• Все переписать :trollface:

39. И пока не случилось

40. Давай в микросервисы

41. Микросервисы
• Маленькие

42. Микросервисы
• Маленькие
• Сфокусированные

43. Микросервисы
• Маленькие
• Сфокусированные
• Слабосвязанные

44. Микросервисы
• Маленькие
• Сфокусированные
• Слабосвязанные
• Высокосогласованные

45. Микросервисы
• Малый размер
• Тонкое масштабирование
• Быстрый деплой
• Легкость тестирования
• Любой язык

46. Синхронный подход
© Nginx.com

47. Асинхронный подход
© Nginx.com

48. А почему Go
• Строготипизированный
• Компилируемый
• CSP
• Goroutine
• sync.WaitGroup

49. Что есть в Go
• Go-kit
• Gizmo
• Micro
• Echo
• Gin
• Mux

50. Как рефакторить
• Четкие границы в коде между модулями

51. Как рефакторить
• Четкие границы в коде между модулями
• Понимание, что выносить

52. Как рефакторить
• Четкие границы в коде между модулями
• Понимание, что выносить
• Нет повторений в коде и копипасты

53. Как рефакторить
• Четкие границы в коде между модулями
• Понимание, что выносить
• Нет повторений в коде и копипасты
• Тесты

54. Как рефакторить
• Четкие границы в коде между модулями
• Понимание, что выносить
• Нет повторений в коде и копипасты
• Тесты
• Много тестов

55. Как рефакторить
• Четкие границы в коде между модулями
• Понимание, что выносить
• Нет повторений в коде и копипасты
• Тесты
• Много тестов
• Очень много тестов

56. Tradeoffs

57. Tradeoffs
• Latency

58. Tradeoffs
• Latency
• Распределенные блокировки

59. Tradeoffs
• Latency
• Распределенные блокировки
• Eventual consistency

60. Tradeoffs
• Latency
• Распределенные блокировки
• Eventual consistency
• Operational Complexity

61. Разделение на микросервисы
• Учетное ядро ака биллинг
• Сервис отчетов
• Сервис тарификации
• Операторская
• Бекенд водителей

62. Ок, кто первый?
• Учетное ядро ака биллинг

63. Наш путь
• Синхронный подход
• Проще
• Легче
• В случае фейла все повторится
• HTTP REST API
• Go
• Echo
• GORM
• JWT

64. Наш путь
• Написали на Go
• Написали тестов
• Написали e2e тесты
• Прогнали все
• Собрали в докер
• Спланировали
• Задеплоили

65. Заблуждения

66. Заблуждения
• Более чистый код

67. Заблуждения
• Более чистый код
• Это легче

68. Заблуждения
• Более чистый код
• Это легче
• Это быстрее

69. Заблуждения
• Более чистый код
• Это легче
• Это быстрее
• Это лучше для инженеров

70. Заблуждения
• Более чистый код
• Это легче
• Это быстрее
• Это лучше для инженеров
• Это лучше масштабируется

71. Какие бенефиты?

72. Какие бенефиты?
• Меньше расход ресурсов

73. Какие бенефиты?
• Меньше расход ресурсов
• Можем масштабировать отдельную фичу

74. Какие бенефиты?
• Меньше расход ресурсов
• Можем масштабировать отдельную фичу
• Поддерживать код стало чуть легче

75. Какие проблемы и подводные камни
• Конкурентный доступ
• Балансировка

76. Конкурентный доступ
• Percona
• Транзакции + select … for update
• Redis
• Setnx

77. Балансировка
• Неравномерное использование ресурсов

78. Выводы

79. Выводы
• Не нужно добавлять сетевое ограничение чтобы оправдать
написание лучшего кода

80. Выводы
• Не нужно добавлять сетевое ограничение чтобы оправдать
написание лучшего кода
• Распределенные транзакции никогда не легче

81. Выводы
• Не нужно добавлять сетевое ограничение чтобы оправдать
написание лучшего кода
• Распределенные транзакции никогда не легче
• К микросервисам нужно прийти

82. Выводы
• Не нужно добавлять сетевое ограничение чтобы оправдать
написание лучшего кода
• Распределенные транзакции никогда не легче
• К микросервисам нужно прийти
• Лучше планируйте

83. Выводы
• Не нужно добавлять сетевое ограничение чтобы оправдать
написание лучшего кода
• Распределенные транзакции никогда не легче
• К микросервисам нужно прийти
• Лучше планируйте
• Преждевременно не оптимизируйте

84. Выводы
• Не нужно добавлять сетевое ограничение чтобы оправдать
написание лучшего кода
• Распределенные транзакции никогда не легче
• К микросервисам нужно прийти
• Лучше планируйте
• Преждевременно не оптимизируйте
• Рефакторите итеративно

85. Вопросы?

86. Контакты
• https://github.com/gen1us2k
• chaka@maddevs.io
• http://gen1us2k.com
• Слайды
• http://bit.ly/gdgalmaty2016