Download to read offline
Uploaded byVladimir Rudnyh
Как мы делаем раскладку Календаря@Mail.Ru
Документ описывает процесс разработки и развертывания проекта календаря на базе Python и Django, включая управление зависимостями с помощью virtualenv и установку пакетов через RPM. Упоминаются средства автоматизации сборки, такие как Jenkins, и практики мониторинга, включая использование Sentry и Graphite для отслеживания ошибок и метрик. Также акцентируется внимание на преимуществах тестирования и код-ревью для повышения качества кода.
Как мы делаем раскладку Календаря@Mail.Ru
- 1. Как мы делаем раскладкуКалендаря Владимир Рудных
- 2. Обо мне • тимлидКалендаря Mail.Ru • pythonista • бывший перловик • ленивый программист Moscow Django MeetUp №7
- 3. Календарь Mail.Ru • calendar.mail.ru •написан на Python • Django framework • PostgreSQL • Rich Internet Application • RESTful API • шаблонизация на клиенте (Fest) Moscow Django MeetUp №7
- 4. calendar.mail.ru Moscow Django MeetUp №7
- 5. Разработка в Mail.Ru Тестовое Production окружение Офисная сеть (разработчики) Moscow Django MeetUp №7
- 6. Раскладка проекта репозиторий много git серверы серверы серверов как? Moscow Django MeetUp №7
- 7. Раскладка проекта репозиторий "rsync" много git серверы серверы серверов ? Ахаха, мы же не перловики! Moscow Django MeetUp №7
- 8. Раскладка проекта Moscow Django MeetUp №7
- 9. Раскладка проекта Вся мощь Python с нами! Moscow Django MeetUp №7
- 10. Раскладка проекта • setuptools •distribute • easy_install • pip Moscow Django MeetUp №7
- 11. Раскладка проекта • pythonsetup.py install • pip install package • pip install -r requirements.txt Moscow Django MeetUp №7
- 12. Раскладка проекта NO WAY! Moscow Django MeetUp №7
- 13. Раскладка проекта Загаживать системупакетами? Что делать с зависимостями? Как отслеживать их версии? Moscow Django MeetUp №7
- 14. Раскладка проекта А еслинужна другая версия Python? А что делать, если нужно откатиться? Что делать с зависимостями при откате? Moscow Django MeetUp №7
- 15. Раскладка проекта АД Moscow Django MeetUp №7
- 16. Раскладка проекта Вспоминаемпро virtualenv Moscow Django MeetUp №7
- 17. Vitrualenv • весь проектв одном месте • со всеми зависимостями • любые версии Python и модулей • не засоряет систему Moscow Django MeetUp №7
- 18. Раскладка проекта Но как раскладывать? Makefile? Fabric? RPM*! * RPM, DEB или любой другой формат пакетов Moscow Django MeetUp №7
- 19. RPM • весь проектсо всеми зависимостями • в одном пакете • накатить/откатить - без проблем • версионность пакетов • версионность отдельных модулей • не засоряет систему • админы умеют (привет, CPAN!) Moscow Django MeetUp №7
- 20. RPM Как собирать? JenkinsCI Moscow Django MeetUp №7
- 21. сборка RPM • пишемfabfile для запуска сборки • пишем SPEC-файл для RPM • заводим задачу в Jenkins CI • ... • пушим ветку в git, получаем RPM: - git master -> RPM stable - git prerelease -> RPM testing Moscow Django MeetUp №7
- 22. Jenkins CI Задачив Jenkins: • development - все ветки • prerelease - ветка prerelease • release - ветка master Moscow Django MeetUp №7
- 23. плюшки Jenkins • автоматическаясборка RPM • continuous integration • тесты • lint • coverage • change log • мгновенная обратная связь Moscow Django MeetUp №7
- 24. Jenkins CI Moscow Django MeetUp №7
- 25. Jenkins CI: report Moscow Django MeetUp №7
- 26. Jenkins jobs dev prerelease release pylint ✔ flake8 ✔ ✔ coverage ✔ ✔ tests ✔ ✔ ✔ RPM ✔ ✔ Moscow Django MeetUp №7
- 27. Раскладка проекта Разложили,что дальше? Как узнать, что всё хорошо? Нужен мониторинг! Moscow Django MeetUp №7
- 28. Мониторинг • метрики вGraphite (+Statsd) • ошибки в Sentry • дежурные администраторы • обращения пользователей в службу поддержки Moscow Django MeetUp №7
- 29. Graphite Что будеммониторить? Да всё будем мониторить! Moscow Django MeetUp №7
- 30. Graphite • количество запросов •тип запросов • время выполнения • время ожидания • таймауты • количество ошибок • выкладки и рестарты Moscow Django MeetUp №7
- 31. Graphite Гдебудем мониторить? Да везде будем мониторить! Moscow Django MeetUp №7
- 32. Graphite • клиент (браузер) •сервер (cpu, memory, hardware) • nginx • uwsgi • приложение • БД • обвязка (очереди, рассыльщики) Moscow Django MeetUp №7
- 33. Раскладка проекта Разложились. Есть ошибки. Что делать? Moscow Django MeetUp №7
- 34. Раскладка проекта Проситьадминов погрепать логи? Moscow Django MeetUp №7
- 35. Раскладка проекта Moscow Django MeetUp №7
- 36. Раскладка проекта Sentry! Moscow Django MeetUp №7
- 37. Sentry Получаем все ошибки Frontend+ Backend в удобном виде. Realtime! Moscow Django MeetUp №7
- 38. Sentry • url ошибки •данные запроса (request) • полный stacktrace ошибки • версии модулей • информация о пользователе (email, браузер, ОС) Для каждой ошибки! Moscow Django MeetUp №7
- 39. Sentry За исключением приватных данных пользователя =) “password”: “********” Moscow Django MeetUp №7
- 40. Sentry Moscow Django MeetUp №7
- 41. Sentry Moscow Django MeetUp №7
- 42. Раскладка проекта Но как избежать ошибок? Moscow Django MeetUp №7
- 43. Раскладка проекта Тестирование + Code review Moscow Django MeetUp №7
- 44. Тестирование • nose • factory_boy •mock • Selenium (coming soon...) Moscow Django MeetUp №7
- 45. Тестирование • модульное • функциональное •регрессионное • альфа (тестировщики) • бета (пользователи) Moscow Django MeetUp №7
- 46. Code review Phabricator Moscow Django MeetUp №7
- 47. Code review • подпискана коммиты (с фильтрами) • аудит и рецензирование коммитов • просмотр кода и diff’ов Moscow Django MeetUp №7
- 48. Подведём итоги Moscow Django MeetUp №7
- 49. Best practice • пишемна Python • используем virtualenv • менеджеры пакетов ОС (RPM) • автоматизируем процесс (Jenkins) • мониторим всё и вся • тесты, тесты, тесты! • обратная совместимость кода • code review, code style + lint Moscow Django MeetUp №7
- 50. Ссылки • Virtualenv: virtualenv.org •Jenkins: jenkins-ci.org • Graphite: graphite.wikidot.com • Statsd: github.com/etsy/statsd • Sentry: getsentry.com • Phabricator: phabricator.org Moscow Django MeetUp №7
- 51. Контакты • Владимир Рудных •rudnyh@corp.mail.ru • github.com/dreadatour • dreadatour.habrahabr.ru Moscow Django MeetUp №7