Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Путь к Go на конкретном примере

665 views

Published on

Опыт пилотной разработки микросервиса на Go и оценки производительности

Published in: Software
  • Be the first to comment

Путь к Go на конкретном примере

  1. 1. New Generation Data Protection Powered by Acronis AnyData Technology Путь к Go на конкретном примере Аверин Сергей, Acronis
  2. 2. ©2016 2 в цифрах 5 миллионов Более 5 млн обычных людей доверяют компании 
 хранить свои личные данные 500 000 Число корпоративных заказчиков из разных отраслей экономики 30 000 Обширная экосистема 
 из 30 000 бизнес-партнеров, 
 среди которых 300 — ОЕМ-партнеры 150 стран Продукты компании переведены на 18 языков, пользуются ими 
 в 150 странах мира 750 человек 750 сотрудников, 23 офиса по всему миру, среди сотрудников 
 компании более 350 инженеров высшего класса 45 наград Авторитетные издания не раз признавали продукты компании лучшими на рынке Домашние
 пользователи Корпоративные
 клиенты Партнеры География Сотрудники Признание
  3. 3. Нужен микросервис для хранения и обновления инфы об инфраструктуре
  4. 4. ©2016 4 Python-way 1) Хотим python 3.5, async/await, asyncio 2) Все это должно работать с AMQP (RabbitMQ) 3) Должна быть поддержка MySQL, PostgreSQL, MSSQL и SQlite 4) Основной костяк людей хорошо знает Tornado framework
  5. 5. ©2016 5 Python-way Tornado framework
  6. 6. ©2016 6 Python-way Tornado framework − Нет поддержки async/await
  7. 7. ©2016 7 Python-way Tornado framework − Нет поддержки async/await − Нет масштабирования по тредам/процессам
  8. 8. ©2016 8 Python-way Tornado framework − Нет поддержки async/await − Нет масштабирования по тредам/процессам − Сложные синхронные процедуры (вычисления) тормозят единственный тред
  9. 9. ©2016 9 Python-way Tornado framework − Нет поддержки async/await − Нет масштабирования по тредам/процессам − Сложные синхронные процедуры (вычисления) тормозят единственный тред + Есть стандартная библиотека AMQP-клиента
  10. 10. ©2016 10 Python-way Tornado framework − Нет поддержки async/await − Нет масштабирования по тредам/процессам − Сложные синхронные процедуры (вычисления) тормозят единственный тред + Есть стандартная библиотека AMQP-клиента
  11. 11. ©2016 11 Python-way Tornado framework − Нет поддержки async/await − Нет масштабирования по тредам/процессам − Сложные синхронные процедуры (вычисления) тормозят единственный тред + Есть стандартная библиотека AMQP-клиента
  12. 12. ©2016 12 Python-way Tornado framework − Нет поддержки async/await − Нет масштабирования по тредам/процессам − Сложные синхронные процедуры (вычисления) тормозят единственный тред + Есть стандартная библиотека AMQP-клиента
  13. 13. ©2016 13 Python-way Tornado framework − Нет поддержки async/await − Нет масштабирования по тредам/процессам − Сложные синхронные процедуры (вычисления) тормозят единственный тред + Есть стандартная библиотека AMQP-клиента
  14. 14. ©2016 14 Python-way
  15. 15. ©2016 15 Python-way
  16. 16. ©2016 16 Python-way: Тесты RPS На одном Macbook Pro 15”: RabbitMQ, клиент, сервер 100 000 запросов Сервер: 1 процесс, 1 воркер-тред, QOS=1, 1 коннект к базе 223 RPS
  17. 17. ©2016 17 Python-way: Тесты RPS На одном Macbook Pro 15”: RabbitMQ, клиент, сервер 100 000 запросов Сервер: 1 процесс, 1 воркер-тред, QOS=1, 1 коннект к базе 223 RPS 1 процесс, 32 воркер-треда, QOS=32, 16 коннектов к базе 301 RPS
  18. 18. ©2016 18 Python-way …почему так мало?
  19. 19. ©2016 19 Python-way …почему так мало? • Выключаем всякие special фичи AMQP
  20. 20. ©2016 20 Python-way …почему так мало? • Выключаем всякие special фичи AMQP • А БД-то синхронная!
  21. 21. ©2016 21 Python-way …почему так мало? • Выключаем всякие special фичи AMQP • А БД-то синхронная! Async Postgres client, пока, SQLAlchemy…
  22. 22. ©2016 22 Python-way …почему так мало? • Выключаем всякие special фичи AMQP • А БД-то синхронная! Async Postgres client, пока, SQLAlchemy… • перспектива с поддержкой async MySQL, MSSQL и SQlite
  23. 23. ©2016 23 Python-way …почему так мало? • Выключаем всякие special фичи AMQP • А БД-то синхронная! Async Postgres client, пока, SQLAlchemy… • перспектива с поддержкой async MySQL, MSSQL и SQlite • выжимаем 585 RPS… а можно ли больше?
  24. 24. ©2016 24 Python-way Итого, плюсы: + Известный популярный язык без сюрпризов + Код бизнес-логики приятен и понятен + Удобно валидируются и конвертятся данные, приходящие в JSON
  25. 25. ©2016 25 Python-way Итого, минусы: − Asyncio ядро не любит долгих тупняков − Вся асинхронщина реализуется кодом на Python -> глубокий стек, трудно дебажить − Война промисов-корутин-коллбеков − Надо написать свой обвязочно-костыльный асинхронный фреймворк чтобы оно заработало
  26. 26. ©2016 26 Python-way ?
  27. 27. ©2016 27 Python-way ?…а давайте попробуем на каком-нть другом языке?
  28. 28. Про Go
  29. 29. ©2016 29 Go-way Что изначально понравилось: • Простой и немногословный синтаксис • Язык заставляет делать хорошую архитектуру • Вся асинхронщина «просто работает» • Есть package-manager из коробки • Есть хорошая документация • Есть единый универсальный SQL-package
  30. 30. ©2016 30 Go-way С чем пришлось повозиться: • Чуть более сложный маппинг структур в SQL • Не нашлось библиотеки по приведению типов (маршаллинг), пришлось написать самостоятельно • Дольше подбор существующих библиотек под задачи • Мелкие глюки отдельных библиотек, типа SQL BIT поля читаются как 0x31/0x30 • Логирование из коробки так себе
  31. 31. ©2016 31 Go-way
  32. 32. ©2016 32 Go-way
  33. 33. ©2016 33 Go-way Делаем простенький однопоточный сервис в 1 файл. 1 горутина, AMQP QOS = 1, 1 коннект к базе 1063 RPS
  34. 34. ©2016 34 Go-way Делаем простенький однопоточный сервис в 1 файл. 1 горутина, AMQP QOS = 1, 1 коннект к базе 1063 RPS Переписали на нормальный код, получили рабочий сервис и ~1087 RPS (и никакие оптимизации уже не помогали)
  35. 35. ©2016 35 Go-way Итого, плюсы: + Если сравнивать с C++, то сильно проще и менее бажно + Все асинхронное и удобное из коробки + Работает быстрее Python в нашей практике, даже всего при 2 горутинах
  36. 36. ©2016 36 Go-way Итого, минусы: − Дебажить сложнее, и не все видно − Строгая типизация (еще и машинно-зависимая) — больше мучений чем хотелось бы − Код усеивается конструкциями if (error != nil) { panic(…); } − Жаль, синтаксис весьма скуден
  37. 37. ©2016 37 Спасибо! Вопросы? Аверин Сергей
 twitter.com/ryba_xek
 s@averin.ru
 averin.ru/slides/ facebook.com/ryba.xek
  38. 38. acronis.com blog.acronis.com twitter.com/acronis facebook.com/acronis New Generation Data Protection Powered by Acronis AnyData Technology

×