for WebSocket Study

1. NonBlocking and Asynchronous Norio Kobota @nori0428

2. 自己紹介 小保田 規生(こぼた のりお)と申します幼少のころから、こくぼくん、くぼたくんと呼ばれるのがデフォルトになってます Lighttpd用のwebsocket module作ってます# 最近リファクタリング、メンテや更新出来てなくてごめんなさい https://github.com/nori0428/mod_websocket 本業は組み込みや、ネットワーク周りのソフトウェアエンジニアですが、最近はJavaScriptも書いてます

3. はじめに WebSocket JavaScriptのLayerからみると、一般的なイベント駆動型のTCPsocketを扱えるようになる仕組み※1 詳細は他の講師の方が説明してくださっているとおり：） WebSocketの利用方法やアプリケーションは良く説明されている。一方、サーバ側の動きはあまり説明されることが無い? ※1:現時点では無理です

4. と、思って調べてたら・・・

5. 既に素晴らしい資料がありました！ Node.js 入門 http://d.hatena.ne.jp/forest1040/

6. Node.js入門 素晴らしく纏まっている・・・これは勝てない 発見したのが資料事前UP前日 急病を理由に逃げようか、本気で考える ･･･参照させてもらおう、と開き直って本日に至る

7. forest1040さんの素晴らしい資料公開に大感謝 forest1040さん、オープンソースカンファレンス2011 Kansai/Kobeに参加された皆さま、ごめんなさい ごめんなさい・・・otz

8. 言葉の定義

9. 並行処理 マルチスレッドによる並行処理 呼び出し元と並行して処理が行われる シングルスレッドによる並行処理 呼び出し元がプロセッサを利用していないときに処理が行われる 処理2開始! 処理1 処理2 処理2開始! 処理1 処理2 Node.js 入門 page.7

10. 同期呼び出し、非同期呼び出し 同期呼び出し(Synchronous Call) メソッドを呼び出すとメソッド内処理が完了するまで呼び出し元に戻ってこない 非同期呼び出し(Asynchronous Call) メソッドを呼び出した瞬間に呼び出し元に処理が戻ってくる 呼びだした処理は先の並行処理モデルによって処理されるタイミングが異なる Node.js 入門 page.10

11. ブロッキングI/O、ノンブロッキングI/O ブロッキングI/O データ読み込み、書き込みなどの処理が完了するまで待たされること ノンブロッキングI/O データ読み込み、書き込みなどの処理が完了するのを待たず、次の処理が行えること Node.js 入門 page.11

12. I/O Model 非常によく引用される図 Boost application performance using asynchronous I/O

13. 非同期呼び出しやノンブロッキングI/Oが必要なのは何故か?

14. C10K problem サーバ1台に対して、クライアントが1万台繋がったらどうなる?と言う問題 The C10Kproblem 解決方法(The C10K problemの中で記述されています) 各スレッドが複数のクライアントを受け付けるノンブロッキングI/Oとレベルトリガ型通知※1を利用する 各スレッドが複数のクライアントを受け付けるノンブロッキングI/Oとエッジトリガ型通知※1を利用する 各スレッドが複数のクライアントを受け付けるAIOを利用する 各スレッドが1つのクライアントを受け付けるブロッキングI/Oを利用する サーバコードをカーネルに組み込む ※1:http://d.hatena.ne.jp/kazuhooku/20080707/1215385159 Node.js 入門 page.15

15. WebSocket Server実装 Apache - pywebsocket 解決方法4番各スレッドが1つのクライアントを受け付けるブロッキングI/Oを利用する Node.js他、殆どのWebSocketServer実装 解決方法3番各スレッドが複数のクライアントを受け付けるAIO（相当するlibev + libeioなど）を利用する

16. アプリケーションが気をつけることは?

17. 注意することは、1つだけ 1つのスレッドが、複数のクライアントを処理->イベントハンドラ内はシングルスレッド libev etc. clientA Application clientB Event callback ここはシングルスレッド で逐次処理 この間、clientBは待たされる Event callback イベントハンドラ内の処理は、出来る限りシンプルに、短時間で終わらせましょう

18. 今後の展望

19. ボトルネックはネットワーク?シングルスレッド? リアルタイム性を追求したい、マルチコア時代の高並列性I/Oアーキテクチャ – Wavy http://d.hatena.ne.jp/viver/20090131/p1 並列イベント駆動I/Oフレームワーク – mpio http://d.hatena.ne.jp/viver/20100412/p1 clientA AIO Application clientB イベントハンドラもマルチスレッド化

20. WebSocketApplicationをスケールさせるには? WebSocketはCross Domain通信が可能WebSocketを用いたApplicationには別のサーバを！ httpd browser browser websocketd browser Cross Domain HTTPはWebServerへ WebSocketは別Serverへ websocketd

21. スケールのさせ方(将来?) WebSocket ProxyWebSocketのセッション管理、バックエンドのサーバ負荷分散を行う為のproxyが必要になる browser browser websocketd browser WebSocket Proxy ProxyServerで別Serverへ 振り分け httpd websocketd proxy

22. mod_websocket for lighttpdのご紹介

23. mod_websocket for lighttpd WebSocket Proxyでは無い WebSocket とTCP Socketを繋ぐReverse Proxyぽい実装 lighttpd Application browsers WebSocket Internet TCP Socket TCP Socket WebSocket

24. Pros, Cons Pros 外部に公開するポートはLighttpdで利用するポートだけ サーバサイドアプリケーションを作成すること無く、既存TCPサーバと通信が可能 Cons サーバサイドアプリケーションが作りづらい version-07には対応してません mod_websocketの出来が悪い･･･いや、ほんとにごめんなさい

25. 地味なデモ(for chrome, safari, firefox 4.x) https://onmessage.ws/demos/ws-smtp.html JavaScript lighttpd postfix Browsers WebSocket(wss scheme) new WebSocket connect TCP Socket send SMTPTerminal onmessage disconnect onclose

26. JavaScriptと、lighttpdのconfig fileだけで実現 デモの特徴 websocket.server = (“/smtp” => ( “host” => “127.0.0.1”, “port” => 25, “origins” => (“onmessage.ws”)) browser Any Client lighttpd.conf mod_websocket for Lighttpd Local Area※1 Internet lighttpd postfix ※1: デモではローカルループバックです

27. まとめ ノンブロッキング、非同期について覚えておこう イベントハンドラ内処理は短時間で済ませよう WebSocketサーバはもっとリアルタイム性を追求できる WebSocketサーバのスケールのさせ方も変わるはず mod_websocket for lighttpdは頑張って開発します

28. Thank You! 資料作成にあたり大変なご協力をいただいた@nmiyo氏に感謝