1. ПаттерныСерверных COMET-решений Илья Кантор http://javascript.ru

2. Классические серверные паттерны Процессы OS процессы // инициализация фреймворка includeMyFramework; MyFramework::init(); db=DB::connect(); // while ждеточереднойзапрос while(request=FastCGI::accept()){ MyFramework::process(request); } MyFramework::finalize(); Раздельное адресное пространство

4. очереди

6. Классические серверные паттерны Потоки OS запросы 1 2 publicclassMyServletextendsHttpServlet{ privateUsercurrentUser; publicvoiddoGet(HttpServletRequestreq,HttpServletResponseresp){ currentUser=authorizeUser(req); // ... resp.getWriter().println(currentUser) } } Петя Вася Петя Петя ошибка

7. Сравнение

8. Гибридные паттерны Процессы + потоки Несколько процессов (Worker MPM) В каждом процессе много потоков Увеличенная надежность Event MPM отдельный поток для Keep-Alive позволяет «рабочим» потокам работать дальше, пока висит Keep-Alive

9. COMET Long Poll Разрыв связи Конец запроса Разрыв связи Конец запроса t Соединение не закрывается Соединение не закрывается данные запрос данные запрос запрос

10. COMET Streaming Разрыв связи Конец запроса t Соединение не закрывается данные запрос данные данные запрос

11. Сравнение Обычный цикл Принять запрос Сгенерировать страничку Выдать страницу

14. Потоки/процессы съедают ресурсы

15. Активная межпроцессная коммуникация

17. Модель работы classMyResource(resource.Resource): deflogin(self,result,request): request.write(“…"%result) request.finish() defrender_GET(self,request): name=request.args['name'] deferred=dbpool.runQuery("…"%name) deferred.addCallback(self.login) returnserver.NOT_DONE_YET Twistd пул потоков render_GET

18. Общие данные Пример COMET-приложения comet.pycomet.js все клиенты в одном массиве Twistd classClientManager: clients=[] defregisterClient(self,client): self.clients.append(client) defbroadcastMessage(self,message): forclientinself.clients: client.write(message) client.finish() self.clients=[]

19. Характеристики метода Для удобного асинхронного вызова нужно Async API Хорошо когда оно есть Плохо, что оно не всегда есть Нет синхронизации Основной процесс использует только 1 ядро Что делать при 100% загрузке CPU? Выделять сложные операции в потоки (Python – GIL, сетевые операции не thread-safe) Запускать несколько экземпляров (процессов) сервера (данные не в едином адресном пространстве)

20. Почитать Twisted Официальная документация и учебник Twisted.Web In 60 Seconds Node.js nodejs.ru Streaming file uploads with node.js

21. Continuations(Jetty, GlassFish…) Запрос 1 ожидает сообщение 1 publicclassSubscribeServletextendsHttpServlet{ protectedvoiddoGet(HttpServletRequestreq,HttpServletResponseresp){ } // 1. запрос «упаковывается» в объект continuation Continuationcontinuation=ContinuationSupport.getContinuation(req); if(continuation.isInitial()){ // true // 2. сообщить серверу, что запрос неокончен continuation.suspend(); } // 3. передать continuation асинхронному обработчику ClientManager.getInstance().registerClient(continuation); Continuation (неоконченный запрос) «подвис» на сервере

22. Continuations Запрос 2 инициирует событие 2 publicclassClientManager{ // 1. массив клиентов / запросов ArrayList<Continuation>continuations=newArrayList<Continuation>(); publicsynchronizedvoidbroadcastMessage(Stringmessage){ for(Continuationcontinuation:continuations){ } } } // 2. передать информациюо событии в continuation continuation.setAttribute("message",message); // 3. попросить сервер продолжить обработку continuation.resume(); можно в цикле выдавать ответы в запросы

23. Continuations Сервер перезапускает запрос 1 1 1(2) publicclassSubscribeServletextendsHttpServlet{ protectedvoiddoGet(HttpServletRequestreq,HttpServletResponseresp){ } // 1(2).возвратит объект сontinuation, соответствующий запросу Continuationcontinuation=ContinuationSupport.getContinuation(req); if(continuation.isInitial()){ // true // 1(1). сообщить серверу, что запрос неокончен continuation.suspend(); }else{ } // false // 1(1). передать continuation асинхронному обработчику ClientManager.getInstance().registerClient(continuation); Stringmessage=(String)continuation.getAttribute("message"); resp.getWriter().print(message);

24. Характеристики метода Основан на потоках Используются все ядра Синхронизация, многопоточное программирование Многопоточная обработка оживших continuations publicsynchronizedvoidbroadcastMessage for(Continuationcontinuation:continuations){ // разбросает обработку continuations по потокам continuation.resume() }

25. Почитать Continuations to Continue Continuations (статья старовата) JSR-000315 JavaServlet 3.0 (Спецификация) Glassfish

26. Микронити Erlang, Stackless Python, … Предыдущие подходы: Сохранить запрос в памяти и освободить поток для нового запроса Микронити: Сделать поток максимально «легким» - и можно не освобождать Решение: отказ от потоков и стека OS, свои потоки

27. Микронити chat_web.erl

28. Почитать A Million-user Comet Application with Mochiweb: Part 1, Part 2, Part 3 Building an Erlang chat server with Comet: Part1, Part 2, Part 3 Comet web chat (with MochiWeb) Using the mochiweb project skeleton Mochiweb source Документация к API Erlang Официальный сайт Erlang in Practice(screencast)