Download as PDF, PPTX
More Related Content
Similar to Tech Talks @NSU: Что такое Highload? Секреты высокой нагрузки.
Tech Talks @NSU: Что такое Highload? Секреты высокой нагрузки.
- 1. Что такое Highload?Тайны высоконагруженныхсистем. Скандалы. Интриги. Расследования.
- 2. • Отвечаю завеб-разработку в НГС • В вебе и программировании уже более 8 лет • Люблю Golang и котиков :) Кто я? Олег Федосеев olegfedoseev o.fedoseev@office.ngs.ru
- 3. • НГС одиниз крупнейших сайтов за Уралом • 18 миллионов хитов в день, более миллиона уникальных посетителей в день • Тысячи запросов в секунду в приложению, в пиках до 10к rps • Десятки тысяч запросов в секунду к базам • Гигабайты трафика :) Откуда я знаю про Highload?
- 4.
- 5.
- 6.
- 7. …когда больше 10 тысячпользователей в день” “Highload это…
- 8. “Highload это… …когда больше100 тысяч пользователей в день”
- 9. “Highload это… …когда большемиллиона пользователей в час!”
- 10.
- 11.
- 12. Запросы бывают разные YouTube!= Лента.ру А ещё их кэшируют :)
- 13. Highload это когда ресурсов одногосервера уже мало
- 14.
- 15.
- 16.
- 17. LAMP - Linux,Apache,MySQL, PHP Гуглить: LAMP, ubuntu, php, vps, apache server, mysql VPS
- 18. LAMP - Linux,Apache,MySQL, PHP Гуглить: LAMP, ubuntu, php, vds, apache server, mysql VDS
- 19. LAMP - Linux,Apache,MySQL, PHP Гуглить: LAMP, ubuntu, php, dedicated, apache server, mysql dedicated
- 20. Выносим базу Гуглить: n-tier arcitecture mysqlconfiguration
- 21. nginx перед apache Гуглить: nginx,libevent, libev nginx vs apache
- 22. А зачем намapache? Гуглить: php-fpm, fastcgi
- 23. А если унас много видео? Гуглить: http load balancer dns round-robin ?
- 24. Балансировка запросов Гуглить: http loadbalancer dns round-robin DNS 1.1.1.1 2.2.2.2
- 25.
- 26. Балансировка запросов Гуглить: tcp loadbalancer, haproxy
- 27. Балансировка запросов Гуглить: geoip, anycast,bgp DNS example.com US → 1.1.1.1 EU → 2.2.2.2 ДЦ в США ДЦ в Европе
- 28.
- 29. Масштабируем backend Гуглить: nginx upstream,nginx fastcgi_pass nginx proxy_pass
- 30. Гуглить: Nginx proxy_cache, Nginxfastcgi_cache Varnish, Apache Traffic Server • Самое простое поставить рядом второй сервер • Меньше запросов к backend’у - меньше нагрузка • Кэшируем всё! Масштабируем backend
- 31. Гуглить: Nginx proxy_cache, Nginxfastcgi_cache Varnish, Apache Traffic Server • Самое простое поставить рядом второй сервер • Меньше запросов к backend’у - меньше нагрузка • Кэшируем всё! Масштабируем backend
- 32. Добавим кэша Гуглить: Nginx proxy_cache,Nginx fastcgi_cache Varnish, Apache Traffic Server
- 33. Добавим кэша Гуглить: memcache, redis,key-value store, crc32, libketama, consistent hashing, handlersocket A-I J-T U-Z
- 34.
- 35. Кэширование • Кэши нестрашно потерять, по этому шардинг • Для лучшей отказоустойчивости используем специализированные прокси - twemproxy, mcrouter • Помним про race-condition • Экспериментально определяем размер кэша • Обязательно мониторить hit/miss
- 36. proxy Memcache / Redis Чтополучилось dns Load Balancer nginx upstream Frontend Backend nginx upstream
- 37. Load Balancer dns nginx upstream Frontend Backend nginx upstream Slave Master proxy Memcache /Redis Репликация Гуглить: mysql binlog, row-based/statement-based replication
- 38.
- 39. Load Balancer dns nginx upstream Frontend Backend nginx upstream Slave Master proxy Memcache /Redis Репликация Гуглить: haproxy, mysql-proxy, pgpool
- 40. Нюансы репликации (MySQL) •Репликация может лагать • Нужно быть аккуратным с недетерминированными запросами (NOW(), RAND() и т.д.) • В случае падения мастера - нужна ручная перестройка схемы • Стоит регулярно смотреть в slowlog • Масштабирует только чтение
- 41. Load Balancer dns nginx upstream Frontend Backend nginx upstream Slave proxy Memcache /Redis master-master репликация
- 42. Load Balancer dns nginx upstream Frontend Backend nginx upstream mysql proxy mysql proxy ShardAShardB SlaveMaster proxy Memcache /Redis Шардинг Гуглить: mysql cluster, mysql fabric
- 43. • Очень важновыбрать правильный ключ • В случае с транзакциями боль • На сколько прост ввод/вывод шарда • Записи масштабируются, но требует много ресурсов • Ещё кучи нюансов :) Шардинг Но не забываем про NoSQL :)
- 44. Шардинг в MongoDB Гуглить:mongodb, mongodb sharding
- 45. Cassandra Гуглить: cassandra, google bigtable, hbase,amazon dynamo, riak
- 46. • Много хорошихрешений • Надо уметь готовить • Другая схема данных • Другой язык запросов • Другие приоритеты в CAP теореме NoSQL
- 47.
- 48. • Мастер-мастер дастотказоустойчивость • Шардинг даст пропорциональный прирост записи, но есть нюансы • Не стоит забывать про “NoSQL” решения, есть очень хорошие базы данных • Иногда полезно совмещать RDBMS и NoSQL решения Масштабирование записи
- 49.
- 50. Релиз новой версиикода Гуглить: blue-green deployment continuous delivery
- 51. Мониторинг Гуглить: zabbix, graphite, pinba,statsd etsy skyline, opentsdb, influxdb • Графики должны быть на все изменяющиеся значения • Даже если значение не изменяется, на него должен быть график (вдруг изменится) • Как минимум следить за превышением пороговых значений • В идеале отслеживание трендов и “умное” детектирование аномалий
- 52. Общие нюансы Гуглить: fault-tolerance, failover,soa microservice arcitecture • Всегда помните о проблеме больших чисел • Помните о блокировках в разных частях системы • Отказоустойчивость очень важна • Загружать сервера на 100% опасно • SOA и микросервисы
- 53. Секреты высоконагруженных систем •Отделяем мух от котлет для полноценной утилизации ресурсов и независимой масштабируемость • Все сервисы масштабируются по разному, но подходы похожие • Но помни про нюансы (лаги, консистентность и т.д.) • Быстрый и автоматический failover залог здорового сна • Использовать php+mysql для всех задач можно, но есть специализированные сервисы для многих задач
- 54.