13 октября, DEV {web} - конференция о Highload веб-разработке. «Грабли при масштабировании веб-приложения, на которые очень легко наступить», Евгений Коковихин (системный архитектор WapStart) Аннотация Что происходит при росте приложения с 1М до 50М хитов в сутки. С какими проблемами можно столкнуться, когда серверов становится больше одного. О чем важно помнить при проектировании приложения, способного масштабироваться. Подробно Когда мы сделали первую публичную версию plus1.wapstart.ru, она помещалась на один сервер и была соответствующим образом спроектирована. Потом нагрузка начала расти, а мы начинали наступать на грабли. В докладе будет рассказано о наиболее типичных "граблях", что возможно позволит избежать их другими разработчиками при проектировании приложения. О чем пойдет речь (кратко): * балансировка нагрузки; * кеширование данных и прогрев кешей; * работа с сетью; * сессии; * файлы, загружаемые пользователями; * работа с СУБД. Мы пишем на PHP, используем фреймворк OnPHP, СУБД Postgres. Биография Родился в несуществующем городе несуществующей страны. Первый мобильный телефон увидел в 1997 году. С детства любил программировать, последние 4 года посвятил развитию рекламы в мобильном веб. Своими глазами видел эволюцию мобильных устройств и предпочтений рекламодателей.

1. «Грабли» при масштабировании
веб-приложения
или «что происходит при росте с 1М до 80М хитов в сутки».
Евгений Коковихин, ведущий разработчик Wapstart.

2. Кто мы?
• Компания WapStart – владелец крупнейшей в России мобильной
рекламной сети Plus1 WapStart и каталога мобильных сайтов
Top WapStart.
• Компания оказывает услуги тысячам издателей мобильных
сайтов и приложений.
• Ежемесячная рекламная емкость WapStart - свыше 2 млрд.
показов, число уникальных посетителей - более 13 миллионов
в месяц.
• Компания WapStart владеет передовыми технологиями
таргетинга и анализа аудитории, позволяющими проводить
рекламные кампании с высокой рентабельностью инвестиций.
© Отдел маркетинга.

3. Эту картинку я нашел в интернете

4. … и эту

5. Задачи, которые решает plus1.wapstart.ru
• Поиск подходящих баннеров для пользователя.
• Сортировка баннеров по релевантности и стоимости.
• Подсчет денег.
• Администрирование баннеров и рекламных площадок.
• Сбор и анализ статистики.

6. ПО, которое используются
в plus1.wapstart.ru
• PHP 5.3 (5.4) / php-fpm
• postgresql 9.2
• nginx
• memcache
• Freebsd (fronts)
• Debian (farms)

7. Конфигурация железа: было
Хорошо: мир
• Хорошо работает при
небольшой нагрузке;
• Все очень просто.
Плохо:
• Разные требования
к железу у разных
ролей;
• Сложно отлавливать
баги и искать узкие
места из-за влияния
других подсистем.

8. Конфигурация железа: стало
мир Хорошо:
• все еще просто;
• легко добавлять и
убирать железо;
• железо разделено по
ролям.
Проблемы: Плохо:
• сессии; • Вывод железа из
• картинки / продакшена
пользовательские файлы; в случае отказа
• sql запросы, не автоматизирован.
модифицирующие данные

9. Конфигурация железа: инстансы
мир

10. Статистика (1)
Хорошо: Плохо:
• выборки очень просты; • медленно;
• все понятно; • сложно удалять старые
сырые данные;
• сложно
масштабировать.
Проблемы:
• Однажды мы начали
писать быстрее, чем
смогли обрабатывать;
• Внешние ключи не
только полезны, но и
вредны.

11. Статистика (2)
Хорошо:
• выборки очень просты;
• все понятно;
Плохо:
• Временные таблицы надо чистить;

12. Статистика (3)
Хорошо:
• Аггрегация работает годно;
Плохо:
• Данные в дневные таблицы попадают
не одновременно с часовыми (переживем).

13. Биллинг: было
Утро: Вечер:
Рекламодатель Рекламодатель
100 рублей 50 рублей
Владелец сайта Владелец сайта
100 рублей 120 рублей
Рекламодатель Рекламодатель
150 рублей 70 рублей
Владелец сайта Владелец сайта
10 рублей 12 рублей
Рекламодатель Рекламодатель
180 рублей 100 рублей
Владелец сайта Владелец сайта
20 рублей 30 рублей

14. Биллинг: стало
Счет сумма Счет сумма
User 1 1 000 User 1 1 100
User 2 100 User 2 200
User 3 100 User 3 500
System 150 System 3 000
… … … …
… … … …
time Credit_bill_id Debet_bill_id Amount comment
… User_1 User_2 100 за клики
… … … … …
Проблема:
• Проводок слишком много.

15. Мониторим всё
1. Состояние логов
2. Аггрегация ошибок и отправка их почтой
3. Цветные графики
4. Особо критичные триггеры по sms.

16. Борьба за быстродействие:
• клиенты хотят получать баннер быстро;
• клиенты получают баннеры синхронно;
• аренда оборудования - это дорого.

17. Борьба за быстродействие: было
Плохо:
onPHP cache
(memcache) •Иногда ходим в базу;
•Используем родные объекты
onPHP – медленная сборка.
DB (Postgres)
Проблема:
•Однажды оно перестало
помещаться в кеш.

18. Борьба за быстродействие: как хотели.
get model_id=42&gateway_id=1&region_id=199
VALUE model_id=42&gateway_id=1&region_id=199 0 256
a:2:{i:0;O:11:"PlainBanner":13:
{s:15:"PlainBannerid";i:31;s:17:"PlainBannername";N;s:18:
"PlainBannertitle";N;s:20:"PlainBannercontent";N;s:30:"Pl
ainBannersingleLineContent";N;s:17:"PlainBannerlink";N;s:
20:"PlainBannerstateId";N;s:23:"PlainBannercampaignId";N;
s:19:"PlainBannertypeId";N;s:21:"PlainBannerpictures";a:0
:{}s:25:"PlainBannerfakePictures";a:0:
Мemcache {}s:17:"PlainBannerfake";b:0;s:32:"PlainBannershowOnlyWit
hGraphic";N;}i:1;O:11:"PlainBanner":13:
{s:15:"PlainBannerid";i:42;s:17:"PlainBannername";N;s:18:
"PlainBannertitle";N;s:20:"PlainBannercontent";N;s:30:"Pl
ainBannersingleLineContent";N;s:17:"PlainBannerlink";N;s:
20:"PlainBannerstateId";N;s:23:"PlainBannercampaignId";N;
s:19:"PlainBannertypeId";N;s:21:"PlainBannerpictures";a:0
:{}s:25:"PlainBannerfakePictures";a:0:
{}s:17:"PlainBannerfake";b:0;s:32:"PlainBannershowOnlyWit
hGraphic";N;}}
END
Не взлетело :(

19. Борьба за быстродействие:
как получилось
Вот так
работает!
Проблемы:
Мemcache •Разбиратель запроса все еще
может попасть в базу;
•Редкий траффик идет в базу
целиком;
•За преднаполненным кешем
надо следить.

20. Борьба за быстродействие:
проект “рыба”!
Обычная работа:
• Все хорошо, пока траффик
равномерный.
• Любой редкий траффик идет в
базу целиком и делает плохо.
• Много редкого траффика делает
очень плохо.
Пришла “Индия”:

21. Борьба за быстродействие:
проект “рыба”!
• Никогда не ходим в базу.
• Ключ нормализуется.
• Вместо базы может быть любой “наполнятор”.
• …, но иногда падает :(

22. Мониторинг (2)
и как мы раньше жили без pinba?
• Меряем именно то, что происходит на проде;
• Меряем все, что происходит на проде;
• Можем измерять бизнес-метрики;
• Красивые графики.

23. Резюме:
• Разработка – процесс итеративный.
• Ошибки бывают, не бойтесь ошибаться.
• Не надо думать на 3 года вперед, все равно все изменится.
• Мониторинг – наше всё.
• Сила в простых вещах. Когда все просто – это легко поддерживать
и модифицировать.

24. Wapstart:
• http://wapstart.ru/ https://plus1.wapstart.ru/
• Продажи: sales@co.wapstart.ru
• Разработка: dev@co.wapstart.ru
• github: https://github.com/Wapstart
• Habr: http://habrahabr.ru/company/wapstart/
Я:
• Mail/jabber: dovg@dovg.ru
• Github: https://github.com/dovg
• Habr: http://habrahabr.ru/users/dovg/
• Vk: http://vk.com/id2082364
Вопросы?