Vladimir V Perepelitsa Ae Highload

AnyEvent: Highload from scratch, now! Mons Бунин Олег Anderson <mons@cpan.org>

Высокая нагрузка Что это?

Высокая нагрузка Больше 10 серверов?

Высокая нагрузка «Домашние странички ***-программистов Пупкиных»

Высокая нагрузка Load average больше 100?

Высокая нагрузка for (1..100) { fork or 1 while (1); }

Высокая нагрузка Больше 1000 единовременных соединений?

Высокая нагрузка for (1..1001) { connect … }

Высокая нагрузка Больше 1.000.000 посещений в день?

Высокая нагрузка $ ab2 -n 1000000

Высокая нагрузка 560 сек 2.500 запросов / сек 216.000.000 запросов / день

Резюме Достижение практического потолка производительнсти оборудования по некоторым показателям

Идеальная высокая нагрузка Достижение теоретического потолка производительнсти оборудования по всем показателям (CPU, Mem, IO, ...)

Syncronous workflow accept wait read wait CPU connect wait read wait …

HTTP Request DNS w/r parse connect peer w/r parse

GET www.google.ru Total: 166 ms DNS: 2ms Connect: 67ms Headers: 12ms Body: 36ms

GET www.google.ru wait, wait, wait... Total: 166 ms DNS: 2ms Connect: 67ms Headers: 12ms Body: 36ms

Несколько запросов

Много запросов

Много процессов Растет LA Уменьшается КПД

Как добиться эффективности?

Причины ожиданий ● Таймеры / sleep ● Ожидание IO ● Периодические проверки (poll)

Основные идеи ● Неблокирующий ввод/вывод ● Событийная модель ● 1 Ядро – 1 процесс

Пример Nginx!

Альтернативы ● Forks (apache prefork) ● Threads (mysql) ● Forks+threads (apache worker) ● Green threads (Java threads)

На чем писать? ● C/C++: libevent ● Perl: AnyEvent ● Python: Twisted ● Java: jemula ● PHP: PRADO

Nginx (C) ● 2500 req/s ● 1000+ connections ● Low CPU (10%)

nginx http { server { listen 1.2.3.4 default backlog = 1024; server_name www.example.com *.another.com; root /var/www/htdocs; location / { ... } location ~ ^/some/.* { … } } }

Perl? http { server { listen '1.2.3.4', default, backlog = 1024; server_name 'www.example.com', qr/.+.another.com/; root '/var/www/htdocs'; location '/', sub { ... }; location 'qr{^/some/.*}, sub { … }; } }

use AnyEvent; ● 1500 req/s ● 1000+ connections ● Middle CPU usage (25%)

Когда использовать? ● Много коннектов ● Много «легких» запросов ● Интеграция сетевых сервисов ● Прототипизация Highload

Когда не использовать? ● Интенсивная работа с CPU ● Проприетарные библиотеки с блокирующими вызовами

Интеграция компонент HTTP select App HTTPD libevent IO kqueue

AnyEvent Framework select App ? libevent kqueue ...

AnyEvent Framework timer (interval, callback) io (handle, rw, callback) AE signal (sigtype, callback) idle (callback)

AnyEvent Framework Impl select Impl libevent AE Impl kqueue Impl ...

AnyEvent Framework DNS Impl select HTTP Handle Socket Impl libevent AE Impl kqueue Impl ...

AnyEvent Framework DNS Impl select HTTP Handle Socket Impl libevent AE AIO Impl kqueue MP Worker Impl ...

AnyEvent Framework DNS HTTP Impl select Handle SMTP Socket Impl libevent AE AIO XMPP Impl kqueue MP ... Worker Impl ...

AnyEvent Framework DNS HTTP Impl select Handle App SMTP Socket Impl libevent AE AIO XMPP Impl kqueue MP ... Worker Impl ...

Где работает? ● Nginx backends ● XMPP Services ● Robots / Spiders ● WWW::Mechanize ● TCP Daemons

Прототипизация ● Быстро ● Просто ● Эффективно

Translate XMPP Bot Dict Memc Server DB AE AE MC HTTP AE AE API HTTP XMPP Jabber Server Server

Mail XMPP Bot AE Beanstalk Queue queue Pg SQL AE AE DBI SMTP SMTPD AE AE API HTTP XMPP Jabber Server Server

Итог ● AnyEvent – rulez ;) ● Perl – rulez ;) ● Python – тоже ничего ;) ● PHP – …

Use perl or die JFDI!

http://ritconf.ru	155
http://www.ritconf.ru	32
http://new.profyclub.ru	6
http://profyclub.ontico.ru	5
http://www.slideshare.net	4
http://2011.ritconf.ru	3
http://ritconf.ontico.ru	1

Vladimir V Perepelitsa Ae Highload

by rit2010 on Apr 11, 2010

Accessibility

Upload Details

Usage Rights

7 Embeds 206

Statistics

Vladimir V Perepelitsa Ae Highload — Presentation Transcript