03.07.2015 WebCamp:Back-end Developers Day Петровский Анатолий (Backend developer at Readdle) "Как построить хайлоад и не сойти с ума" Петровский Анатолий (Backend developer at Readdle) Расскажу о том, как на уровне архитектуры обеспечить светлое будущее проекту и уменьшить боль для новых разработчиков. Best practice в архитектуре систем. Репликации данных. Декомпозиции системы. Балансировка нагрузки. Автоскейлинге и доставке кода в продакшен. Методах оптимизации систем Подробнее: http://geekslab.co, http://webcamp.in.ua/ https://www.facebook.com/GeeksLab.co , https://www.facebook.com/OdessaInnovationWeek https://www.youtube.com/user/GeeksLabVideo

1. Как построить hiload
и не сойти с ума
Петровский Анатолий

2. • СТО ringostat.com
• СТО iftheycall.com
• Developer of New Products
• Co-founder bezpeca.com
• CTO bankua.net
• Web developer
Немного обо мне

4. hiload = СМО

5. Физический уровень
Бизнес логика
Хранение данных
Стек современной системы массового обслуживания

6. Виды масштабируемости
Вертикальное. Тупо покупаем железо пошире

7. Виды масштабируемости
Горизонтальное. Тупо покупаем еще железа

8. Физический уровень
Бизнес логика
Хранение данных
Стек современной системы массового обслуживания

9. Хранение данных
• Репликация (легко)
• Read/Write splitting (сложно)
• Оптимизация (сложно)

10. Хранение данных
Реликация и Read/Write splitting
Master Slave
Сохрани/измени
Дай

11. Хранение данных
Реликация
Master Master

12. Хранение данных
Реликация
Полезный совет:
Отказывайтесь всюду от auto increment key юзайте
UUID для записей. Это уменьшит вашу боль при
включении master-master репликации

13. Хранение данных
Сферическая система в вакууме
Master cluster Slave cluster
Сохрани/измени
Дай

14. Хранение данных
Реликация
Полезный совет:
Если планируете расти и размножатся, то лучше
юзайте PostgreSQL с самого начала. В PostgreSQL всего
один журнал запросов, репликация на физическом уровне
и все работает железобетонно.

15. Хранение данных
Вы никуда не денетесь от вертикальной
масштабируемости

16. Хранение данных
Оптимизация
• Простые индексы
• Составные индексы
• Кеширование
• а еще партицирование, шардинг и многое другое

17. Хранение данных
Простые индексы
user_names
id name sex
1 Маша female
3 Антон male
2 Настя female
11 Глеб male

18. user_names
id name sex
1 Маша female
3 Антон male
2 Настя female
11 Глеб male
Хранение данных
Простые индексы
user_names_id_idx
id link
1 4x4462A
11 4x2345F
2 4x4424A
3 4x326A0

19. Хранение данных
Простые индексы
пусть есть такая таблица:

20. Хранение данных
Простые индексы

21. Хранение данных
Простые индексы

22. Хранение данных
Составные индексы
Простой индекс
Составной индекс

23. Хранение данных
Кеширование
Все SELECT запросы попадают в кеш по умолчанию

24. Хранение данных
Кеширование
Все SELECT запросы попадают в кеш по умолчанию
ПЛОХО
ХОРОШО

25. Хранение данных
Оптимизация
Полезный совет:
Денормализируйте. Если где то можно обойтись без
дополнительной таблицы - обходитесь. Лишний join -
лишняя операция.

26. Физический уровень
Бизнес логика
Хранение данных
Стек современной системы массового обслуживания

27. Бизнес логика
• Расход памяти
• Нерациональный i/o
• Разделяй и властвуй
• Расход ресурсов хранилища

28. Бизнес логика
Память
1000 клиентов, которые запрашивают 1000 файлов, каждый
из которых весит 1.5MB съедят 1.5GB оперативной памяти

29. Бизнес логика
i/o
Полезный совет:
Везде где вы делаете запись или чтение с диска/из
сети - делайте это асинхронно. Не блокируйте
обработку такими тупыми операциями.

30. Бизнес логика
Разделяй и властвуй
Сбор и обработка статистикиСбор логов
Фронтэнд

31. Бизнес логика
Разделяй и властвуй
Полезный совет:
Разделяйте функциональные части системы в
отдельные сервисы. Проще искать слабые системе и
можно их отдельно друг от друга масштабировать

32. Бизнес логика
Разделяй и властвуй
Сбор и обработка статистикиСбор логов
Фронтэнд

33. Бизнес логика
Расход ресурсов хранилища

34. Бизнес логика
Расход ресурсов хранилища

35. Физический уровень
• Load average

36. Физический уровень
load average

37. Физический уровень
• “Занятость” CPU
• “Занятость” RAM
• “Занятость” диска
• и многое другое
load average

38. Физический уровень
Процессы и их переключение
Одни процесс - это совокупность состояний регистров,
сопроцессоров и адрес следующей операции (контекст).
Для переключения между процессами, достаточно только
выгрузить контекст одного процесса и загрузить контекст
другого.

39. Физический уровень
Процессы и их переключение

40. Заключение
Как не сойти с ума?
• Не забывайте умножать мелкие операции на количество
потенциальных клиентов
• Разделяйте и властвуйте
• Реплицируйте
• Денормализируйте
• Любите друг друга
• Больше отдыхайте

41. http://facebook.com/toxa.01
С вами был Петровский Анатолий.
Full stack developer at Readdle Inc.
Спасибо за внимание, вы хорошая публика ;)