Download to read offline
![Spray
path("api" / "1.0" / "some" / "method") {
parameters('id.as[String]) { id =>
val response = DoSomeWork(id)
onSuccess(response) { content =>
complete(content)
}
}
}
01.
02.
03.
04.
05.
06.
07.
08.
73](https://image.slidesharecdn.com/7-ivanov1-160329094821/85/slide-73-320.jpg)
![Spray json
case class User(name: String, isOk: Boolean)
implicit val UserFormatter = jsonFormat2(User)
val json = """{"name": "Denis", "isOk": true}"""
val user = json.parseJson.convertTo[User]
01.
02.
03.
04.
05.
06.
07.
74](https://image.slidesharecdn.com/7-ivanov1-160329094821/85/slide-74-320.jpg)
Uploaded byCodeFest
Денис Иванов
Документ описывает переход от монолитного приложения на PHP к микросервисной архитектуре на Scala, объясняя проблемы существующей системы, такие как медленная обработка запросов и сложность многопоточности. Рассматриваются решения, включая переработку архитектуры приложения на независимые модули и использование новых технологий для улучшения производительности. Завершается анализом текущих процессов CI/CD и рекомендациями по дальнейшему развитию сервиса.
More Related Content
Денис Иванов
- 1.
- 2.
- 3.
- 4. Данные • 8 стран • 300 городов • 50тыс населенных пунктов 4
- 5. Данные • 8 стран • 300 городов • 50тыс населенных пунктов • 5 млн организаций 5
- 6. Данные • 8 стран • 300 городов • 50тыс населенных пунктов • 5 млн организаций • 50 млн гео-объектов И еще много всего 6
- 7.
- 8. Чиселки • 30 млн. пользователейв месяц 8
- 9. Чиселки • 30 млн. пользователейв месяц • 2000 RPS 9
- 10. Чиселки • 30 млн. пользователейв месяц • 2000 RPS • 3 датацентра 10
- 11. Одна нода • 16 CPU • 16 GBRAM • Минимальная нагрузка - 50% • 18 штук 11
- 13.
- 14. Проблемы • Долго отрабатывают запросы(95% - 500ms) 14
- 15. Проблемы • Долго отрабатывают запросы(95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи 15
- 16. Проблемы • Долго отрабатывают запросы(95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи • Приложение - один большой кусок, который нужно выкатывать очень часто и целиком 16
- 17. Проблемы • Долго отрабатывают запросы(95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи • Приложение - один большой кусок, который нужно выкатывать очень часто и целиком • Кеширование не спасает 17
- 18. Проблемы • Долго отрабатывают запросы(95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи • Приложение - один большой кусок, который нужно выкатывать очень часто и целиком • Кеширование не спасает • Много команд разработчиков, сервисов, интеграций 18
- 19. Проблемы • Долго отрабатывают запросы(95% - 500ms) • Невозможно параллельно, многопоточно выполнять какие-то задачи • Приложение - один большой кусок, который нужно выкатывать очень часто и целиком • Кеширование не спасает • Много команд разработчиков, сервисов, интеграций • Много тестов, которые долго работают 19
- 20.
- 21. Решения • Поддерживать существующее ижить дальше 21
- 22. Решения • Поддерживать существующее ижить дальше • Переписать всё нафиг 22
- 23. Решения • Поддерживать существующее ижить дальше • Переписать всё нафиг • Подумать и распилить приложение на независимые куски 23
- 24. Сервисная архитектура (SOA) — модульный подходк разработке программного обеспечения, основанный на использовании распределённых, слабо связанных заменяемых компонентов, оснащённых стандартизированными интерфейсами для взаимодействия по стандартизированным протоколам 24
- 25. Микросервисная архитектура • Малый размер •Тонкое масштабирование • Быстрый деплой • Лёгкость тестирования (Мок) • Любой язык 25
- 26. Микросервисная архитектура • Десятки приложенийвместо одного • Сложность интеграционного тестирования 26
- 27.
- 38.
- 39.
- 40.
- 41. Что сделали? • Дикую новую архитектуру • Написалироутер на go 41
- 42. Что сделали? • Дикую новую архитектуру • Написалироутер на go • Базовый контейнер на busybox 42
- 43. Что сделали? • Дикую новую архитектуру • Написалироутер на go • Базовый контейнер на busybox • Начали пилить SDK 43
- 44.
- 45.
- 46. Как распилить? • Выделить каждую группуметодов в отдельный сервис 46
- 47. Как распилить? • Выделить каждую группуметодов в отдельный сервис • Начать с самого мелкого и несвязного сервиса 47
- 48. Как распилить? • Выделить каждую группуметодов в отдельный сервис • Начать с самого мелкого и несвязного сервиса • Постепенно выделять сервисы, переходя к более крупным 48
- 49.
- 50. Прототип • Тяжелый метод -поисковый запрос, запросы в БД, формирование 2000 маркеров с хешами, куча json-а 50
- 51. Прототип • Тяжелый метод -поисковый запрос, запросы в БД, формирование 2000 маркеров с хешами, куча json-а • PHP, PHP7, Java, Scala 51
- 52. Прототип • Тяжелый метод -поисковый запрос, запросы в БД, формирование 2000 маркеров с хешами, куча json-а • PHP, PHP7, Java, Scala • SLA - 95% за 300ms 52
- 53. Прототип • Тяжелый метод -поисковый запрос, запросы в БД, формирование 2000 маркеров с хешами, куча json-а • PHP, PHP7, Java, Scala • SLA - 95% за 300ms • Тачка - 4 ядра (по 2.7), 4 гига 53
- 54.
- 55. Бенчмарк Реализация SLA Смерть php30 rps 40 rps php7 70 rps 80 rps java 160 rps 180 rps scala 180 rps 200 rps 55
- 56.
- 57. Scala vs Java • Те же библиотеки+ свои 57
- 58. Scala vs Java • Те же библиотеки+ свои • Меньше кода, чем на Java 58
- 59. Scala vs Java • Те же библиотеки+ свои • Меньше кода, чем на Java • Много success-story в микросервисах 59
- 60. Scala vs Java • Те же библиотеки+ свои • Меньше кода, чем на Java • Много success-story в микросервисах • Асинхронность и многопоточность намного проще из коробки + сторонние библиотеки 60
- 61. Scala vs Java • Те же библиотеки+ свои • Меньше кода, чем на Java • Много success-story в микросервисах • Асинхронность и многопоточность намного проще из коробки + сторонние библиотеки • В компании есть несколько команд, использующих Scala на продакшене 61
- 62.
- 66.
- 67.
- 68.
- 69.
- 70.
- 71.
- 72.
- 73. Spray path("api" / "1.0"/ "some" / "method") { parameters('id.as[String]) { id => val response = DoSomeWork(id) onSuccess(response) { content => complete(content) } } } 01. 02. 03. 04. 05. 06. 07. 08. 73
- 74. Spray json case class User(name:String, isOk: Boolean) implicit val UserFormatter = jsonFormat2(User) val json = """{"name": "Denis", "isOk": true}""" val user = json.parseJson.convertTo[User] 01. 02. 03. 04. 05. 06. 07. 74
- 75. Typesafe config databases { catalog { host= "127.0.0.1" port = 5432 timeout = 5s ssl = true } } 01. 02. 03. 04. 05. 06. 07. 08. 75
- 76.
- 77. Инвентарь • Scala - основнойязык для микросервисов 77
- 78. Инвентарь • Scala - основнойязык для микросервисов • TeamCity - сборка и деплой 78
- 79. Инвентарь • Scala - основнойязык для микросервисов • TeamCity - сборка и деплой • Ansible - деплой 79
- 80.
- 81. Тестирование • Функциональные и интеграционныетесты на ваш продукт, которые у вас должны быть 81
- 82. Тестирование • Функциональные и интеграционныетесты на ваш продукт, которые у вас должны быть • Для нагрузки - gatling 82
- 83. Тестирование • Функциональные и интеграционныетесты на ваш продукт, которые у вас должны быть • Для нагрузки - gatling • gor 83
- 84. Тестирование • Функциональные и интеграционныетесты на ваш продукт, которые у вас должны быть • Для нагрузки - gatling • gor • Простой скрипт, кидающий запрос на 2 хоста и делающий diff 84
- 85.
- 86. CI/CD • Сборка - 2минуты 86
- 87. CI/CD • Сборка - 2минуты • Тесты (с нагрузкой) - 5-10 минут 87
- 88. CI/CD • Сборка - 2минуты • Тесты (с нагрузкой) - 5-10 минут • Деплой - 5 минут 88
- 89. CI/CD • Сборка - 2минуты • Тесты (с нагрузкой) - 5-10 минут • Деплой - 5 минут • Серверов - 6 вместо 18 (по 2 в каждом ДЦ) 89
- 90. Одна нода • 4 CPU • 4 GBRAM • Средняя нагрузка - 5% • Максимальная нагрузка - 30% 90
- 92.
- 93.
- 94. Что дальше? • Продолжать распиливать сервисы • Двигатьсяк поставленной цели 94
- 95.
- 96.
- 97. Итоги • Поменьше велосипедов • Ставьте себечеткие, достижимые цели в короткий срок 97
- 98. Итоги • Поменьше велосипедов • Ставьте себечеткие, достижимые цели в короткий срок • Делайте задачи итеративно 98
- 99. Итоги • Поменьше велосипедов • Ставьте себечеткие, достижимые цели в короткий срок • Делайте задачи итеративно • Решайте проблемы по мере из возникновения 99
- 100. Итоги • Поменьше велосипедов • Ставьте себечеткие, достижимые цели в короткий срок • Делайте задачи итеративно • Решайте проблемы по мере из возникновения • Преждевременная оптимизация - зло 100
- 101.