1. Web Scale
Взорвётся всё
Леонид Евдокимов
Второй омский IT-субботник, январь 2013, vk.com/omskit

2. О чём
Juggler рост нагрузки с 1k до 10k машин
MongoDB о свойствах и особенностях
Python о доставке сигналов смеха для
MySQL о пользе суррогатных ключей
Linux об учете накладных расходов
FreeBSD о внезапной сложности простого

3. Juggler
Система мониторинга событий
Внутри: MySQL, MongoDB, Python
В обвязке: nginx или lighttpd, flup или uWSGI
Подробнее: «Мониторинг со всех сторон»
YaC 2011, Алексей Симаков, clck.ru/L5GF

4. MongoDB
NoSQL СУБД
Быстрая как /dev/null
Не использует JOIN
mongodb-is-webscale.com

5. MongoDB
find({x:1})
vs.
update({x:1},
{$set:{pad:"A…A"}})

6. MongoDB
> find({x: 1})
{"_id": ObjectId("4f…c3"), "x": 1 }
{"_id": ObjectId("4f…c3"), "x": 1,
"pad": "A…A" }
>
v2.0.2 — взорвано

7. MongoDB
double-update ≈ ½ quad damage
> update(..., {$push: {big object}})
«Scaling with MongoDB»
by Michael Schurter 2011
Слушатель, доверяй, но проверяй!

8. MongoDB
/usr/bin/mongod
vs.
/usr/sbin/logrotate

9. MongoDB
jira/SERVER-3339 — при ротации логов…
… stackoverflow в обработчике SIGABRT
… deadlock в malloc()
Починка базы медленнее, чем MyISAM!

10. MongoDB
jira/SERVER-3339 — при ротации логов…
… stackoverflow в обработчике SIGABRT
… deadlock в malloc()
Починка базы медленнее, чем MyISAM!
Ответ: db.runCommand("logRotate")

11. Python
Однопоточный
«Медленный»
GIL

12. Python
Однопоточный
«Медленный»
GIL
Ответ: multiprocessing

13. Python
/usr/lib/python2.7/multiprocessing
vs.
/usr/sbin/logrotate

14. Python
bugs/issue8296 — про multiprocessing
Происходит deadlock из-за EINTR и смерти
одного из тредов
…ох уж эти сигналы!
Ответ: kill -9 -${sid}
:-)

15. MongoDB & Python
Окончательный ответ на вопрос logrotate,
доставки сигналов и всего такого:
«Delivering Signals for Fun and Profit»
by Michal Zalewski
clck.ru/4RGgy
always look on the bright side of life vulnerability

16. MySQL
На этот раз не про
сигналы

17. MySQL
На этот раз не про
сигналы
В mysql все сигналы
обрабатываются в
отдельном потоке
На этот раз — про
JOIN

18. MySQL
LEFT JOIN
vs.
RIGHT OUTER JOIN

19. MySQL
LEFT JOIN
vs.
RIGHT OUTER JOIN
На самом деле - нет

20. MySQL
SELECT … FROM t1 LEFT JOIN t2
ON t1.type = 'HOST'
AND t1.host_name = t2.object_name
AND t1.check_name = t2.check_name
LEFT JOIN t1_1 … LEFT JOIN t2_1 …
RIGHT OUTER JOIN t1_2 …

21. MySQL
mysqld: Incorrect key file for table
'/var/tmp/#sql17161_b3_3.MYI';
try to repair it

22. MySQL
SELECT … FROM t1 LEFT JOIN t2
ON t1.type = 'HOST'
AND t1.host_name = t2.object_name
AND t1.check_name = t2.check_name …
host_name, object_name, check_name
- varchar(128) COLLATE utf8_bin

23. MySQL
MEMORY maximum key length is 3072 bytes
MyISAM maximum key length is 1000 bytes

24. MySQL
MEMORY maximum key length is 3072 bytes
MyISAM maximum key length is 1000 bytes
Created_tmp_disk_tables: MEMORY → MyISAM

25. MySQL
MEMORY maximum key length is 3072 bytes
MyISAM maximum key length is 1000 bytes
Created_tmp_disk_tables: MEMORY → MyISAM
При выходе за key_len: MEMORY ↴ MyISAM
BADABOOM storage engine

26. MySQL
Помогают…
… суррогатные INTEGER ключи
… tmp_table_size & max_heap_table_size
You can’t hardware yourself
out of a performance problem
you softwared yourself into.
– Cary Millsap

27. Linux & FreeBSD

28. Linux
/bin/ping
vs.
setsockopt(fd, SO_RCVBUF, …)

29. Linux
SO_RCVBUF
… The kernel doubles this value (to allow space
for bookkeeping overhead).
– man 7 socket

30. Linux
А теперь пошлем ICMP PING на 10000 хостов
Перенесем «пинговалку» в vm на основе KVM
…

31. Linux
Задержка пакета от входа до recvmsg()
возросла в десятки раз (пики до 50ms!)
RCVBUF, кажется, достаточно большой для
нескольких тысяч 28-байтных пакетов
Но входящие PONG не помещаются в
RCVBUF при такой задержке

32. Linux
Измеряем: gist.github.com/4454323
«Bookkeeping overhead» до ¾ kbyte / pkt
Накладные расходы в ≈27.5 раз выше
описанных в man page

33. Linux
ICMP PING — не очень интересен
Что происходит в UDP (VoIP, игры) сокетах?
Почему KVM настолько повышает latency?

34. FreeBSD
rename()
vs.
FreeBSD-8.2

35. FreeBSD
Сказ о rename() и о том, как скушать все PID'ы
и уснуть в D-state
● В N потоков: rename(tmp, dest_dir)
● В M потоков: exists(dest_dir/fname)
● Порождать новый worker-поток, если
старый не ответил за время T

36. FreeBSD
В FreeBSD-9.0 VFS уже починили и этот
deadlock в rename() исчез
Ответ: pool, queue & two strict ulimits

37. IT
Окончательный ответ на вопрос разработки,
протекающих абстракций и всего такого:
Закон больших чисел
Взорвётся всё
Даже /dev/null. Я не шучу.

38. Q&A
Леонид Евдокимов, разработчик ПО
leon@darkk.net.ru || http://darkk.net.ru
AKA @mathemonkey