Download to read offline
Uploaded byDmitry Samsonov
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серверов на свежий дистрибутив
Документ описывает оптимизацию памяти и сетевого стека в Linux, включая историю перехода высоконагруженных серверов на новые дистрибутивы. Рассматриваются проблемы, такие как фрагментация памяти, неравномерное распределение нагрузки по процессорам и механизмы управления сетевыми прерываниями. Предлагаются решения для повышения производительности, включая настройку параметров ядра и оптимизацию распределения сетевых нагрузок.
Тюним память и сетевой стек в Linux: история перевода высоконагруженных серверов на свежий дистрибутив
- 1. Тюним память и сетевойстек в Linux: история перевода высоконагруженных серверов на свежий дистрибутив Дмитрий Самсонов
- 2. OpenSuSE 10.2 Release: 07.12.2006 End oflife: 30.11.2008 CentOS 7 Release: 07.07.2014 End of life: 30.06.2024
- 3. Видео раздача ● 4x 10 Гбит к пользователям ● 2 x 10 Гбит к хранилищу ● 256 Гбайт RAM — кэш в памяти ● 22 х 480 Гбайт SSD — кэша на SSD ● 2 х E5-2690 v2
- 4. Содержание ● Память ○ OOMkiller ○ Swap ● Сеть ○ Broken pipe ○ Распределение сетевой нагрузки по ядрам ○ SoftIRQ
- 5.
- 6. NODE 0 (CPU N0) 1.Вся физическая память NODE 1 (CPU N1) ZONE_DMA (0- 16MB) ZONE_DMA32 (0- 4GB) ZONE_NORMAL (4+GB) 2. NODE 0 3. Каждая зона 20 *PAGE_SIZE 21 *PAGE_SIZE 2 2 *PAGE_SIZE 2 3 *PAGE_SIZE 2 4 *PAGE_SIZE 25 *PAGE_SIZE 2 6 *PAGE_SIZE 2 7 *PAGE_SIZE ... 28 *PAGE_SIZE ... 2 9 *PAGE_SIZE ... 210 *PAGE_SIZE ...
- 7. Что происходит? OOM killer,скачки system CPU!
- 8. Фрагментация памяти Память послезагрузки сервера Через некоторое время Ещё через какое-то время
- 9. Почему это происходит? ● Малосвободной памяти ● Memory pressure
- 10. Что делать с фрагментацией? Увеличиватьvm.min_free_kbytes! High/low/min watermark. /proc/zoneinfo Node 0, zone Normal pages free 2020543 min 1297238 low 1621547 high 1945857
- 11. Информация о текущей фрагментации ●/proc/buddyinfo Node 0, zone DMA 0 0 1 0 ... Node 0, zone DMA32 1147 980 813 450 ... Node 0, zone Normal 55014 15311 1173 120 ... Node 1, zone Normal 70581 15309 2604 200 ... ... 2 1 1 0 1 1 3 ... 386 115 32 14 2 3 5 ... 5 0 0 0 0 0 0 ... 32 0 0 0 0 0 0
- 12. Почему это плохо повышать min_free_kbytes? Потомучто часть памяти размером с min_free_kbytes не может быть использована
- 13.
- 14. Swap при 40GBсвободной памяти и vm.swappiness=0! Что происходит?
- 15. NODE 0 (CPU N0) 1.Вся физическая память NODE 1 (CPU N1) ZONE_DMA (0- 16MB) ZONE_DMA32 (0- 4GB) ZONE_NORMAL (4+GB) 2. NODE 0 3. Каждая зона 20 *PAGE_SIZE 21 *PAGE_SIZE 22 *PAGE_SIZE 23 *PAGE_SIZE 24 *PAGE_SIZE 25 *PAGE_SIZE 26 *PAGE_SIZE 27 *PAGE_SIZE ... 28 *PAGE_SIZE ... 29 *PAGE_SIZE ... 210 *PAGE_SIZE ...
- 16. Неравномерное использование памяти между нодами NODE0 (CPU N0) NODE 1 (CPU N1) Free Used Free Used
- 17. ● numastat -m<PID> ● numastat -m Node 0 Node 1 Total --------------- --------------- --------------- MemFree 51707.00 23323.77 75030.77 ... Текущее распределение по нодам
- 18. Что делать сNUMA? Выключить NUMA ● Целиком для ядра: numa=off ● Для процесса: numactl — interleave=all <cmd> Оптимизировать приложение ● Многопоточность во всём ● Node affinity
- 19.
- 20. Что уже должнобыть сделано Ring buffer: ethtool -g/-G Transmit queue length: ip link/ip link set <DEV> txqueuelen <PACKETS> Receive queue length: net.core. netdev_max_backlog Socket buffer: net.core.<rmem_default|rmem_max> net.core.<wmem_default|wmem_max> net.ipv4.<tcp_rmem|udp_rmem> net.ipv4.<tcp_wmem|udp_wmem> net.ipv4.udp_mem Offload: ethtool -k/-K
- 21.
- 22. Фон ошибок brokenpipe. В tcpdump - half-duplex close sequence. Что происходит?
- 23. OOO Out-of-order пакет, т.е.пакет неправильной очерёдности (с неправильным номером SEQ).
- 24. Что делать сOOO? Отсылать пакеты одного соединения по одному маршруту: ● Одно процессорное ядро ● Одна сетевая карта ● Одна очередь Для этого: ● Привязывать триды/процессы к ядрам ● Привязывать очереди сетевой карты к ядрам ● Использовать RFS
- 25. Было/стало Количество broken pipe/sна сервер
- 26. Чем плохо строгое определение “маршрутов”? Нагрузкана ядра процессора может быть не равномерной
- 27.
- 29. CPU0 загружен на100%
- 30. Почему это происходит? 1. Однаочередь - включить больше: ethtool -l/-L 2. Не распределены прерывания: ○ распределить динамически - запустить irqbalance/irqd/birq ○ распределить статически - настроить RSS
- 31. RSS CPU RSS Network eth0 Q0 Q1 Q2Q3 Q4 Q5 Q6 Q7 0 1 2 3 4 5 6 7 8 9 10 11 12
- 32. CPU0 - CPU7загружен на 100%
- 33.
- 34.
- 35. 16 ядер загруженына 100%
- 36. scaling.txt RPS = SoftwareRSS XPS = RPS для исходящих пакетов RFS? Учитывает номер ядра потребителя. https://www.kernel. org/doc/Documentation/networking/s
- 37. Почему RPS/RFS/XPS это плохо? 1.Нагрузка на ядра процессора может быть не равномерной. 2. Оверхед по CPU
- 38. Accelerated RFS Есть уMellanox, но после включения скорость не поднималась выше 5Gbit/s на 10G интерфейсах.
- 39. Intel Signature Filter (онже ATR - Application Targeted Receive) - аналог RPS+RFS.
- 40.
- 41.
- 42. Откуда берутся SoftIRQ Network eth0 Q0 Q... CPU C0C... HW IRQ 42 RSS
- 43. Откуда берутся SoftIRQ Network eth0 Q0 Q... CPU C0C... HW IRQ 42 SoftIRQ NET_RX CPU0 RSS Обработка HW interrupt завершена
- 44. Откуда берутся SoftIRQ Network eth0 Q0 Q... CPU C0C... HW IRQ 42 SoftIRQ NET_RX CPU0 RSS NAPI poll Обработка HW interrupt завершена
- 45. Что делать с высокимSoftIRQ?
- 46.
- 47. Чем плоха модерация прерываний? Надовыбирать между пропускной способностью и latency
- 48.
- 49.
- 50. Спасибо за внимание! ●Блог Одноклассников на Хабре http://habrahabr. ru/company/odnoklassniki/ ● Тестирование аварий / Андрей Губа завтра, 3 зал, 17:30 http://www.highload.ru/2015/abstracts/1913.html Дмитрий Самсонов dmitry.samsonov@odnoklassniki.ru