Презентация описывает самые частые проблемы и пути их решения при росте нагрузки и масштабировании проекта. The presentation describes the most frequent problems and solutions for increasing loads and scaling of projects. Автор: Андрей Минкин / Andrew Minkin

1. Самые частые проблемы и пути
решения при росте нагрузки и
масштабировании проекта
Минкин Андрей. Namba Taxi

2. Кто я
• 4 года системным администратором
• 4 года разработчиком на Python/Go

3. Что у нас вначале?
• Разрабатываем
• Запускаем в продакшн
• Обретаем глаза на продакшне

4. Глаза на продакшне
• Мониторинг
• Сбор метрик(newrelic, opbeat, etc)
• Сбор ошибок(sentry)

5. Ресурсов нет, но вы там держитесь

6. На что бывает нагрузка
• Disk IO
• Net
• RAM
• CPU

7. Чем анализировать
• CPU/RAM – top/atop/htop/mpstat
• Disk IO – iotop/iostat
• RAM – free cat /etc/meminfo

8. Откуда нагрузка на диск?
• Чтение
• Запись

9. Нагрузка на CPU
• Вычисления
• Ожидание IO

10. Нагрузка на RAM
• Mem-leak
• Храним много данных в памяти

11. Пути решения
• Оптимизация кода
• Кеширование
• Масштабирование

12. Оптимизация
• Берем uwsgiFouigne
• Пишем map функцию
• Загоняем в Excel
• ????
• PROFIT

13. uwsgiFouine --locale en_US.utf8 /path/to/wsgi.log
• Where was the most time spent?
• What were the slowest pages (max page load time)?
• What were the slowest pages (avg page load time)?

15. Path map function

16. uwsgiFouine
• uwsgiFouine --locale en_US.utf8
--path_map_function pmap.pmap /path/to/wsgi.log

17. uwsgiFouine. Пример

18. uwsgiFouine
• 10% методов -> 90% нагрузки

19. Django ORM
• select_related()
• prefetch_related()

20. Кеширование
• Как внедрить
• Как инвалидировать
• Как оценить качество работы кеширования

21. Внедрение кеширования

22. Кеширование
• Как работает кеш
• Что кешировать
• Как кешировать
• Инвалидация

23. Как работает кеш
• Key-value
• Данные в оперативной памяти
• Может? Флушить данные на диск
• LRU – Least Recently Used

24. Что кешировать
• Результаты запросов к внешним API
• Медленные выборки из БД
• Долгий рендер html

25. Как кешировать и инвалидировать
• Кладем в кеш по ключу
• Обновляем по крону
• Дублированное кеширование

26. Кладем в кеш по ключу

27. Дублированное кеширование

28. Обновляем по крону

29. Оценка качества работы кеширования
• %hit rate
• %miss rate

30. %hit rate и результат
• current > 95% - отлично
• 85 < current < 95 – хорошо
• current < 80 - плохо

31. Масштабирование

32. Когда внедрять?
• Все оптимизировано
• Нет лишних запросов к ФС и БД
• Админы все потюнили

33. Как внедрять?
• Масштабирование БД
• Масштабирование App
• Масштабирование ФС
• Балансировка

34. Масштабирование БД
• Репликация(master/slave, master/master…)
• Партицирование(partitioning)
• Распределенная фс(hadoop fs, drbd)
• Шардинг

35. Масштабирование App
• Как хранить сессии?
• Как отдавать статику?
• Как накатывать миграции?
• Как деплоить?

36. Масштабирование ФС
• Storage engine
• Distributed file storage

37. Балансировка
• На стороне сервера
• На стороне клиента

38. Балансировка на серверах
• 1 frontend
• Много бекендов
• DNS round-robin

39. Балансировка. Проблемы
• Не гибко, если на клиенте
• Неравномерное использование ресурсов

40. Конкурентный доступ
• БД
• Cache

41. Что предложит нам Django?
https://docs.djangoproject.com/en/1.7/ref/models/queries/#f-expressions

42. А еще что?

43. Что это даст?

44. Как быть с redis?

45. Выводы.
• Используйте транзакции БД
• Следите за качеством работы кеша
• Разделяйте workflow

46. Вопросы?
• https://github.com/gen1us2k
• Skype: gen1us2k
• http://gen1us2k.com