Downloaded 12 times
![gevent
def print_head(url):!
print('Starting %s' % url)!
data = urlopen(url).read()!
print('%s: %s bytes: %r' % (url, len(data), data[:50]))!
!
jobs = [gevent.spawn(print_head, url) for url in urls]!
!
gevent.wait(jobs)!](https://image.slidesharecdn.com/7-140506051318-phpapp01/85/slide-24-320.jpg)
Uploaded byOntico
Анатомия веб-сервиса, Андрей Смирнов
Документ представлен в виде лекции Андрея Смирнова об анатомии веб-сервиса, охватывающей ключевые аспекты работы бэкенда, включая обработку HTTP-запросов, аутентификацию, авторизацию и управление сессиями. Рассматриваются различные методы сетевого ввода-вывода, многозадачности и взаимодействия с базами данных, а также архитектурные подходы, такие как Service-Oriented Architecture (SOA). В документе также приведены примеры программирования на популярных языках, таких как JavaScript, PHP, Ruby, Python, Java и Go.
More Related Content
Similar to Анатомия веб-сервиса, Андрей Смирнов
Анатомия веб-сервиса, Андрей Смирнов
- 1.
- 2. О чем мы будем говорить? • Введение • Сетевой ввод-‐вывод • Многозадачность • Драйвер БД • Взаимодействие • Фреймворки
- 3.
- 4. Чем занят backend? •Склеивание строк • Сетевой ввод-‐вывод L1 cache reference 0.5 ns Main memory reference 100 ns Read 1 MB sequenRally from network 10,000,000 ns Read 1 MB sequenRally from disk 30,000,000 ns
- 5. Что делает backend 1.Принять соединение (обычно от proxy) и распарсить HTTP-‐запрос 2. Аутенфикация 3. Авторизация 4. Сессия
- 6. Что делает backend 5.Распарсить URL, routing 6. Определение формата вывода, rate limiting, … 7. Бизнес-‐логика, выполнение запроса, кеширование 8. Формирование ответа, шаблоны
- 7. Сетевой ввод-‐вывод • Блокирующийся • Неблокирующийся • Асинхронный
- 8. UNIX (POSIX) • fd -‐ файловый дескриптор • fd = socket() • listen(fd)/accept(fd) • read(fd, buf) • write(fd, buf) • close(fd)
- 9. Блокирующийся ввод-‐вывод • accept(fd) -‐ заблокируется, пока не будет нового входящего соединения • read(fd, buf) -‐ заблокируется, пока не прибудут данные в сокет • write(fd, buf) -‐ заблокируется, пока не освободится место в буфере TCP
- 10. Неблокирующийся ввод-‐вывод • Любая операция завершается немедленно • Вместо того, чтобы заблокироваться, вызов возвращает EAGAIN/EWOULDBLOCK
- 11. Опрос готовности • Нотификации: • level-‐triggered (состояние) • edge-‐triggered (изменение состояния) • Механизмы: • select(), poll() • epoll(), kqueue()
- 12. Неблокирующий ввод-‐вывод • select(fds, Rmeout) ⇛ ready to read/write • do read/write unRl EAGAIN
- 13. Многозадачность • Обслуживание нескольких клиентов одновременно • Цель: минимизировать время отклика при условии максимальной нагрузки
- 14. Процессы • Полная* изоляция • Видимость для планировщика ОС • Сложность коммуникации • Использование всех процессоров
- 15.
- 16. Нити (ОС) • Видны планировщику • Имеют отдельный стек и TLS • Более легковесные, чем процесс • Отсутствует изоляция • Сложность написания корректных программ
- 17. Синхронизация • Любой доступ к общим данным должен быть синхронизирован • Атомарные операции (без синхронизации) • GIL
- 18.
- 19.
- 20.
- 21. Кооперативная многозадачность • “Невидима” для ОС, один процесс (нить) • “Поток” добровольно передает управление другому (проще синхронизация) • Явная: callbackи • Неявная: green threads
- 22. Реактор • “Дай мне кучу сокетов, а я сделаю callback, когда они будут готовы” • Таймер: “Вызови меня через X мс”
- 23. node.js var net =require('net'); var client = net.connect({port: 8124}, function() { //'connect' listener console.log('client connected'); client.write('world!rn'); }); client.on('data', function(data) { console.log(data.toString()); client.end(); }); client.on('end', function() { console.log('client disconnected'); });
- 24. gevent def print_head(url):! print('Starting %s'% url)! data = urlopen(url).read()! print('%s: %s bytes: %r' % (url, len(data), data[:50]))! ! jobs = [gevent.spawn(print_head, url) for url in urls]! ! gevent.wait(jobs)!
- 25. Комбинированные варианты • 1:1 • N:1 • M:N
- 26. Драйвер “БД” • База данных • Очередь • K-‐V хранилище • Другой сервис • …
- 28. Соединение • Соединение: •на один запрос • постоянное TCP! connect Auth Send query Wait Result Send query Wait Result Send query Wait Result Disconnect
- 29. Pipelining • Pipelining запросов Sendquery Wait Result Send query Wait Result Send query Send query Result Result
- 30. Соединения • Кол-‐во соединений: • одно • connecRon pool • по количеству запросов
- 31.
- 32. Взаимодействие • Очереди •вычислительно сложные задачи • асинхронные действия • Архитектурное деление на компоненты • Обращения к другим сервисам
- 33.
- 34. Очереди • Publish-‐Subcribe vs. Producer-‐Consumer • Redis, beanstalkd • pgq • RabbitMQ • Apache Ka•a
- 35. RPC • Синхронное взаимодействие: запрос-‐ответ
- 36.
- 37. ØMQ • Коммуникационная библиотека • Без брокера • Абстракция установления соединения, реконнектов, транспорта и т.п. • Паттерны обмена сообщениями
- 38.
- 39. SOA • Четко выделенные сервисы со своим интерфейсом • Сервисы независимы • Сложность эксплуатации • Независимое масштабирование
- 40. Реальный мир • А что же происходит в моем любимом языке программирования X?
- 41. JavaScript • Однопоточный •Явная кооперативная многозадачность • AJAX, Timer, CSS3 AnimaRon, … • jQuery.Deferred()
- 42. PHP • Нет потоков* • “Начинаем сначала” на каждый запрос • Потребность в “accelerator”ах • Персистентные соединения с БД
- 43.
- 44. Ruby on Rails •Огромное влияние • Редкие многопоточные применения • MRI (1.8), YARV (1.9+), JRuby • Event Machine • Rack: middleware
- 45. Python • WSGI: middleware • Блокирующий ввод-‐вывод (Django, …) • Явная кооперативная многозадачность (Twisted, Tornado) • Корутины (gevent, eventlet, …)
- 46. Java • Потоки ОС • Неблокирующий ввод-‐вывод: NIO, NIO2 • Nežy • Thread Pool
- 47. Go • Горутины (gorouRnes) • Комбинированный вариант (M:N) • Неблокирующий ввод-‐вывод • Каналы
- 48. Erlang • Actor model • Process -‐ комбинированная модель • Полная изоляция (обмен данными через коммуникацию) • Распределенные процессы
- 49. © Copyright 2014Andrey Smirnov Разработка надежных высоконагруженных систем • 24, 25 и 26-‐го мая, Москва • hžp://smira.highload.ru/ • Мастер-‐класс с практическими заданиями