サーバーを作ろう (毎週のハンズオン勉強会の資料)

サーバーを作ろう,[object Object],PHP でやるお(＾ω＾),[object Object]

目次,[object Object],勉強しよう,[object Object],TCP/IP,[object Object],Socket API,[object Object],クライアントとサーバー,[object Object],設計しよう,[object Object],サーバーの多重化,[object Object],ウェブプログラマが何故サーバーを作るの？,[object Object]

TCP/IP,[object Object],ストリーム型の通信プロトコル,[object Object],送ったら、送った順に届く,[object Object],順序を持った可変長バイト列（文字列に変換しやすい！）として送ったり、受け取ったりできるのでプログラミングしやすい,[object Object],ちゃんと届けられる,[object Object],相手が通信可能な状態かどうか分かる,[object Object],「相手が通信可能な状態じゃなかったら」という処理を書ける,[object Object],届いたかどうか分かる,[object Object],「届かなかったら」という処理を書ける,[object Object]

TCP/IP,[object Object],送ったら送った順に届く,[object Object],$fp = stream_socket_client('tcp://www.nicovideo.jp:80');,[object Object],fwrite($fp, "GET / HTTP/1.0");,[object Object],fwrite($fp, "Host: www.nicovideo.jp");,[object Object],echo stream_get_contents($fp);,[object Object],fclose($fp);,[object Object]

送ったら送った順に届く,[object Object],HTML がそのまま読めるよ,[object Object],www.nicovideo.jp,[object Object],送ったら,[object Object],送った順に届く,[object Object],PHP,[object Object],Web Server,[object Object],HTTP/1.1 200 OK,[object Object],<html>…</html>,[object Object],HTTP/1.1 200 OK,[object Object],<html>…</html>,[object Object],TCP/IP,[object Object],TCP/IP,[object Object]

TCP/IP,[object Object],ちゃんと届けられる,[object Object],$fp = stream_socket_client('tcp://www.nicovideo.jp:80', $errno, $errstr);,[object Object],if ($fp=== false) {,[object Object], throw new Exception($errstr);,[object Object],},[object Object],if (fwrite($fp, "GET / HTTP/1.0") === false) {,[object Object], throw new Exception($php_errormsg);,[object Object],},[object Object],if (fwrite($fp, "Host: www.nicovideo.jp") === false) {,[object Object], throw new Exception($php_errormsg);,[object Object],},[object Object],echo stream_get_contents($fp);,[object Object],fclose($fp);,[object Object]

ちゃんと届けられる,[object Object],ちゃんと届いてるみたいだな,[object Object],www.nicovideo.jp,[object Object],PHP,[object Object],Web Server,[object Object],GET / HTTP/1.0,[object Object],Host: www.nicovideo.jp,[object Object],GET / HTTP/1.0,[object Object],Host: www.nicovideo.jp,[object Object],TCP/IP,[object Object],TCP/IP,[object Object],届いた,[object Object],届いた,[object Object]

TCP/IP,[object Object],考えてみよう,[object Object],ストリーム型じゃない通信プロトコルってどんなのだろう,[object Object],TCP/IP 以外のストリーム型通信プロトコルを考えてみよう,[object Object]

Socket API,[object Object],TCP/IP などで通信相手と接続するためのライブラリが socket,[object Object],接続後は、ファイルに対する読み書きの関数がそのまま使える,[object Object]

ファイル操作の関数が使える,[object Object],ソケットから読む,[object Object],ファイルから読む,[object Object],$fp = stream_socket_client(,[object Object],　　　　　　　　　　　　　'tcp://www.nicovideo.jp:80');,[object Object],fwrite($fp, "GET / HTTP/1.0");,[object Object],fwrite($fp, "Host: www.nicovideo.jp");,[object Object],while (fgets($fp) !== "") { },[object Object],$content = stream_get_contents($fp);,[object Object],if (!mb_check_encoding($content, 'UTF-8')) {,[object Object], throw new Exception('Invalid encoding!');,[object Object],},[object Object],fclose($fp);,[object Object],libxml_use_internal_errors(true);,[object Object],$doc = new DOMDocument();,[object Object],$doc->loadHTML($content);,[object Object],libxml_clear_errors();,[object Object],echo $doc->getElementsByTagName('title'),[object Object],　　　　　　->item(0)->textContent;,[object Object],$fp = fopen('test.html', 'r');,[object Object],$content = stream_get_contents($fp);,[object Object],if (!mb_check_encoding($content, 'UTF-8')) {,[object Object], throw new Exception('Invalid encoding!');,[object Object],},[object Object],fclose($fp);,[object Object],libxml_use_internal_errors(true);,[object Object],$doc = new DOMDocument();,[object Object],$doc->loadHTML($content);,[object Object],libxml_clear_errors();,[object Object],echo $doc->getElementsByTagName('title'),[object Object],　　　　　　->item(0)->textContent;,[object Object],まったく同じコードを使える,[object Object]

Socket API,[object Object],考えてみよう,[object Object],なんで、通信なのにファイルで抽象化してるんだろう？,[object Object]

クライアントとサーバー,[object Object],接続する側をクライアントと言う,[object Object],接続を待つ側をサーバーと言う,[object Object],それぞれで、接続が確立するまでのコードが違う,[object Object]

作ってみよう,[object Object],Mecabで形態素解析して、結果を返すサーバーと、そのクライアントを作る,[object Object],Mecabのインストール,[object Object],sudoapt-get install mecab # mecabプログラム,[object Object],sudoapt-get install libmecab-dev # mecab.so を作るのに必要,[object Object],sudoapt-get install mecab-naist-jdic mecab-jumandic-utf8 # mecabの UTF-8 の辞書,[object Object],sudoapt-get install build-essentials # php拡張をコンパイルするためのツール群,[object Object],sudopear channel-discover pecl.opendogs.org,[object Object],sudopear remote-list -c opendogs,[object Object],sudopear install opendogs/mecab-beta,[object Object],# 以下のファイルに extension=mecab.so を追加,[object Object],sudovim /etc/php5/cli/php.ini,[object Object]

クライアント側のコード,[object Object],繋ぐだけ,[object Object],エラー処理とかは各自勉強してね,[object Object],$fp = stream_socket_client('tcp://127.0.0.1:1111');,[object Object],fwrite($fp, json_encode($argv[1]) . "");,[object Object],$list = json_decode(fgets($fp, 1024));,[object Object],var_dump($list);,[object Object],fclose($fp);,[object Object]

サーバー側のコード,[object Object],接続を待って、接続を確立する,[object Object],エラー処理とかは各自勉強してね,[object Object],$server = stream_socket_server('tcp://127.0.0.1:1111');,[object Object],while (true) {,[object Object], $fp = stream_socket_accept($server);,[object Object], while (!feof($fp)) {,[object Object], $str = fgets($fp, 1024);,[object Object],fwrite($fp, json_encode(mecab_split(json_decode($str))) . "");,[object Object], },[object Object],fclose($fp);,[object Object],},[object Object],fclose($server);,[object Object]

サーバー側の処理の多重化,[object Object],前の例では、サーバー側のコードは、常に一つのクライアントに対しての処理しかしない,[object Object],複数のクライアントに対して処理をしたい場合は、以下のいずれかの方法でサーバーの処理を多重化する必要がある,[object Object],フォークによる多重化,[object Object],イベントループによる多重化,[object Object],スレッドによる多重化,[object Object]

フォークによる多重化,[object Object],プロセスを分身させる。,[object Object],メモリは COW で節約されるけど、スレッドと比べてメモリを食う,[object Object],処理ごとに値が独立してるので、プログラミングが楽,[object Object],$server = stream_socket_server('tcp://127.0.0.1:1111');,[object Object],while (true) {,[object Object], $fp = stream_socket_accept($server);,[object Object], if (!pcntl_fork()) {,[object Object], while (!feof($fp)) {,[object Object], $str = fgets($fp, 1024);,[object Object],fwrite($fp, json_encode(mecab_split(json_decode($str))) . "");,[object Object], },[object Object],fclose($fp);,[object Object], exit;,[object Object], },[object Object],},[object Object],fclose($server);,[object Object]

スレッドによる多重化,[object Object],PHP では出来ない？？,[object Object],フォークするより、省メモリ。,[object Object],とはいえ、スタック領域などのメモリは食う。,[object Object],マルチスレッドプログラミング難しい＞＜,[object Object]

イベントループによる多重化,[object Object],フォークや、スレッドと比べて軽量,[object Object],$server = stream_socket_server('tcp://127.0.0.1:1111');,[object Object],stream_set_blocking($server, 0);,[object Object],$base = event_base_new();,[object Object],$event = event_new();,[object Object],event_set($event, $server, EV_READ | EV_PERSIST, 'ev_accept', $base);,[object Object],event_base_set($event, $base);,[object Object],event_add($event);,[object Object],event_base_loop($base);,[object Object],$id = 0;,[object Object],$fps = array();,[object Object],$bufs = array();,[object Object]

イベントループによる多重化,[object Object],function ev_accept($server, $flag, $base) {,[object Object], global $id;,[object Object], global $fps;,[object Object], global $bufs;,[object Object], $fp = stream_socket_accept($server);,[object Object],stream_set_blocking($fp, 0);,[object Object], $id++;,[object Object], $buf = event_buffer_new($fp, 'ev_read', NULL, 'ev_error', $id);,[object Object],event_buffer_base_set($buf, $base);,[object Object],event_buffer_timeout_set($buf, 30, 30);,[object Object],event_buffer_watermark_set($buf, EV_READ, 0, 0xffffff);,[object Object],event_buffer_priority_set($buf, 10);,[object Object],event_buffer_enable($buf, EV_READ | EV_PERSIST);,[object Object], $fps[$id] = $fp;,[object Object], $bufs[$id] = $buf;,[object Object],},[object Object]

イベントループによる多重化,[object Object],function ev_error($buf, $error, $id) {,[object Object], global $id;,[object Object], global $fps;,[object Object], global $bufs;,[object Object],event_buffer_disable($bufs[$id], EV_READ | EV_WRITE);,[object Object],event_buffer_free($bufs[$id]);,[object Object],fclose($fps[$id]);,[object Object], unset($fps[$id], $bufs[$id]);,[object Object],},[object Object],function ev_read($buf, $id) {,[object Object], global $id;,[object Object], global $fps;,[object Object], global $bufs;,[object Object], while ($str = event_buffer_read($buf, 1024)) {,[object Object], $fp = $fps[$id];,[object Object],fwrite($fp, json_encode(mecab_split(json_decode($str))) . "");,[object Object], },[object Object],},[object Object]

ウェブプログラマが何故サーバーを作るの？,[object Object],プロセスやマシンに縛られるのはやめよう,[object Object],１プロセスに拘らなくなる,[object Object],プログラミング言語に拘らなくてよくなる,[object Object],使いたいライブラリがあったら、なんでも使える。ソケットでプロセスを繋げばいい,[object Object],１マシンに拘らなくなる,[object Object],OS に拘らなくてもよくなる,[object Object],負荷分散も自由自在,[object Object]

サーバーを作ろう (毎週のハンズオン勉強会の資料)

サーバーを作ろう (毎週のハンズオン勉強会の資料)

Recommended

More Related Content

What's hot

What's hot(20)

Similar to サーバーを作ろう (毎週のハンズオン勉強会の資料)

Similar to サーバーを作ろう (毎週のハンズオン勉強会の資料)(20)

サーバーを作ろう (毎週のハンズオン勉強会の資料)