PHP5.5新機能「ジェネレータ」初心者入門

PHPカンファレンス2012

PHP5.5新機能かもしれない

Generator
初心者入門
makoto kuwata <kwa@kuwata-lab.com>
http://www.kuwata-lab.com/
2012-09-15 (Sat)

copyright(c) 2012 kuwata-lab.com all rights reserved.

本発表について
【目的】 • PHP5.5の新機能かもしれない「ジェネレータ」を、
「なんだか凄そうだ」と思ってもらう。

【内容】 • ジェネレータって何？
• どううれしいの？
• どんなことに使えるの？

【注意】 • 内容は2012-09-15時点での情報に基づく。
今後、仕様変更があり得るので注意。


ジェネレータって何？
What is Generator?


まとめ

◆ ジェネレータセーブ機能

◆ ジェネレータ関数ゲームシナリオ

◆ ジェネレータオブジェクト冒険の書
（セーブデータ）

◆ yield文宿屋（セーブポイント）


通常の関数

1: function func() {
2: $i = 0;
1, 2, 3回目 (0が返される)
3: return $i;
4: $i++;
5: return $i;
6: $i++;
7: return $i;
8: }
毎回先頭から実行され、また
return文より後ろは実行されない


ジェネレータ (Generator) 関数

1: function gfunc() {
2: $i = 0;
1回目 (0が返される)
3: yield $i;
4: $i++;
5: yield $i; 2回目 (1が返される)
6: $i++;
7: yield $i; 3回目 (2が返される)
8: }
前回の終了位置から再開


使い方
ジェネレータオブジェクトを生成
（通常の関数と使い方が違うことに注意!）

1: $g = gfunc();
2: foreach ($g as $x) {
3: var_dump($x);
4: }
foreach文とともに使用
（イテレータとして振る舞う）
実行例
int(0)
int(1)
int(2)


実行順序：ループ1回目

メインプログラムジェネレータ関数

1
$g = gfunc(); function gfunc(){
2
foreach($g as $x){ $i = 0;
3
var_dump($x); yield $i;
4
5
} $i++;
echo "donen"; yield $i;
$i++;
return $i;
}


実行順序：ループ2回目

6
foreach($g as $x){ $i = 0;
9
} $i++;
7

echo "donen"; yield $i;
8
$i++;
return $i;
}


実行順序：ループ3回目…は、ない

10foreach($g as $x){ $i = 0;
} $i++;
yield $i;
13echo "donen";
$i++;
11
return $i;
12
・ループのたびにyield文まで実行
・yield文の引数がループ変数に
}


サンプル：2つの値を交互に出力

1: function toggle($odd, $even) {
2: while (TRUE) {
3: yield $odd;
4: yield $even;
5: }
6: }
7:
8: // "red" と "blue" を交互に出力
9: foreach (toggle("red", "blue") as $c){
10: echo $c, "n"; // 無限に出力
11: }


サンプル：フィボナッチ数列 (0, 1, 1, 2, 3, 5, 8, 13,...)

1: function fib() {
2: $x = 0; $y = 1; コツ：ループの終了条件を
3: while (TRUE) { 指定しない (無限ループ)
4: yield $x;
5: list($x, $y) = [$y, $x+$y];
6: }
7: }
8:
9: // 100未満のフィボナッチ数列を出力
10: foreach (fib() as $x) {
11: if ($x >= 100) break;
12: echo $x, "n"; コツ：終了条件は呼
13: } び出す側で指定する


どううれしいの？
Why Generator is so useful?


Before: ファイルを1行ずつ処理する

1: // 行番号つきで表示
2: $f = fopen($filename, 'r');
3: if ($f === FALSE) throw ....;
4: $line = fgets($f);
5: while ($line !== FALSE) {
6: ++$i;
7: echo $i, ": ", $line;
9: }
10: fclose($f);
11:


1: // パターンで絞り込む
6: if (preg_match('/@/', $line))
7: echo $line;
9: }
10: fclose($f);
11:


1: // タブ文字でフィールドに分解
6: $arr = explode("t", $line);
7: echo $arr[1], "n";
9: } 汎用性の高いコードの中に
10: fclose($f); 汎用性の低いコードが混在
11:

After: ジェネレータ関数
汎用性の高い箇所を関数に抽出

1: function each_line($filename) {
yield $line;
7: echo $arr[1];
汎用性の低い箇所を yield 文に
9: }
10: fclose($f);
11: }

After: メインプログラム

1: // ジェネレータオブジェクトを生成
2: $g = each_line($filename);
3: // メインループ
4: foreach ($g as $line) {
5: // 汎用性の低い処理
7: echo $arr[1], "n";
8: }


ジェネレータの利点

◆ ループ処理から、汎用性の高い箇所だけを切り
出せる（再利用性の向上）
◆

◆

◆


もっとジェネレータ関数
ジェネレータオブジェクトを受け取り、新し
い別のジェネレータオブジェクトを生成する

1: // ジェネレータオブジェクトを作成受け取る
function each_fields($g) {
3: // ループ配列やイテレータでも可
4: foreach ($g as $line) {
6: echo $arr[1];
yield $arr;
7: }
8: }


ジェネレータを「重ねる」

1: // ジェネレータオブジェクトを生成
3: $g = each_fields($g); ジェネレータから
4: // メインループ別のジェネレータ
5: foreach ($g as $line) { を生成
$arr
6: $arr = explode("n", $line);

7: echo $arr[1], "n";
8: }


1つの大きなループ vs. 複数の小さなループ

ジェネレータ使用前ジェネレータ使用後
$f = fopen($filename, 'r'); while ($line !== FALSE) {
$line = fgets($f); yield $line;
while ($line !== FALSE) { }
$arr = explode("n",$line);
echo $arr[1]; foreach ($g as $line) {
$line = fgets($f); yield $arr;
} }
fclose($f);
$g = each_line($filename);
$g = each_fields($g);
foreach ($g as $arr) {
echo $arr[1], "n";
}



◆ ひとつの大きなループを、複数の小さなループ
に分解できる（ループの簡素化とPipeline化）
◆

◆


従来方法との比較：配列にすべて格納する

3: $lines = array(); メモリを大量に消費
4: $line = fgets($f);（巨大データだと落ちる）
6: $lines[] = $line;
8: }
9: fclose($f); すべてを読み込まないと
10: return $lines; 結果が返ってこない
11: }


従来方法との比較：ジェネレータ

3:
1度に1行しか読み込まない
4: $line = fgets($f); （巨大なデータでも落ちない）
6: yield $line;
8: } 読み込んだはしから値を返す
9: fclose($f); （ストリーム処理に最適）
10
11: }


リダイレクト v.s. パイプライン

すべてを配列に格納する ≒「リダイレクト」
・巨大な中間ファイルが必要
・最後まで処理しないと何も出力されない

bash% command1 < input > tmp1
bash% command2 < tmp1 > tmp2
bash% command3 < tmp2


リダイレクト v.s. パイプライン

ジェネレータを連結する ≒ 「パイプ」
・巨大な中間ファイルがいらない
・読み込んだはしから出力される

bash% cat input | command1
| command2
| command3



◆ ひとつの大きなループを、複数の小さなループ
に分解できる（ループの簡素化とPipeline化）
◆ メモリ消費量が少ない
（巨大なデータを扱ってもプロセスが落ちない）
◆ データを読んだはしから処理できる
（ストリームデータも処理可能）


どんな使い道があるの？
Advanced Generator


ジェネレータとインタラクション

$g->send() … 次のyield文まで実行する

からメインプログ
ラムに値を返す
foreach(){} yield $value
$g->send($arg)

メインプログラム
ジェネレータ関数
からジェネレータ
関数に値を渡せる



双方向への値の受け渡しが可能に
メインプログラム

$value = $g->send("arg");

send()の引数が
yield文の値に

yield文の引数が
send()の戻り値に
ジェネレータ関数
$arg = (yield "value");




1$g = gfunc(); function gfunc(){
$ret = $g->send(1); $arg = yield;
2 3
$ret = $g->send(2); while (条件式) {
4
$ret = $g->send(3); $ret = ...;
5
$arg =
(yield $ret);
6
var_dump($arg);
}
}



9
7
$ret = $g->send(3); $ret = ...;
10
$arg =
(yield $ret);
11
var_dump($arg);
8
}
}



14
$ret = $g->send(3); $ret = ...;
15
12
$arg =
(yield $ret);
16
var_dump($arg);
13
}
}


サンプル：数字あてゲーム
最初のsend()の引数値を変数に代入
1: function guess_quiz($num) {
2: $ans = yield;
3: while ($num != $ans) {
4: if ($ans > $num)
5: $ans = (yield "too large");
6: else
7: $ans = (yield "too small");
8: } 値を返し、かつsend()
9: } の引数値を変数に代入


サンプル：数字あてゲーム

1: $g = guess_quiz(mt_rand(1, 100));
2: do {
3: echo "guess number (1-100): ";
4: $ans = fgets(STDIN, 128);
5: if ($ans === false) break;
6: $hint = $g->send($ans);
7: echo $hint ? $hint."n"
8: : "Correct!n";
9: } while ($hint); 値を送信し、かつ
次のyield文まで実行


ジェネレータとマルチスレッド

Process
高機能

機能は限られるが Native Thread
メモリ消費量が
極めて少ない
（＝大量生成可能）
Green Thread

Generator

リソース消費量
： OSの機能として実現
：言語やライブラリで実現


ジェネレータと非同期処理

ネストしたコールバック関数
処理1(function($data) {
....
}); 読みにくい、
}); 書きにくい、
}); わかりにくい



コールバック関数を数珠つなぎ
$d = new Deferred();
$d->next(function($data) {
..処理1..;
})->next(function($data) {
..処理2..;
})->next(function($data) {
..処理3..; 記述量が多い、
書き方が不自然
});



ジェネレータ
function doSomething() {
$data = yield;
...処理1...;
$data = yield;
...処理2...;
$data = yield;
...処理3...; 自然な書き方で
わかりやすい！
}


ジェネレータとページ遷移

1: $response = フォームを表示();
2: $request = (yield $response);
3: $response = プレビューを表示($request);
4: $request = (yield $response);
5: データベースに登録($request);

複数ページにまたがる遷移を
非同期処理と同じように記述 ※
(詳しくは「継続ベースフレームワーク」でggr)

※ Apache だとリクエストごとにすべてをリセットするので、実現できない。
PHP のビルトイン Web サーバのようなパーシステントプロセスのサーバを使って、
リクエストを超えてジェネレータオブジェクトを保持できるような仕組みが必要。

落とし穴：breakされた場合

5: yield $line;
7: }
8: fclose($f);
9: }
呼び出し側でbreakされると
終了処理が行われない！※
（しかもPHPにはﬁnallyがないorz）

※ SPLFileObject も同じ問題を抱えているが、デストラクタで fclose() している。

落とし穴：リファクタリング

奇数番目をyieldしてから、偶数番目をyieldする
1: function stepping($arr) {
2: $n = count($arr);
3: for ($i=0; $i<$n; $i+=2)
4: yield $arr[$i];
5: for ($i=1; $i<$n; $i+=2)
6: yield $arr[$i];
7: }
DRYじゃない！関数化しよう！



DRYになった、けど動かない！
1: function _sub($arr, $i, $n) {
2: for (; $i<$n; $i+=2)
3: yield $arr[$i];
4: }
7: _sub($arr, 0, $n);
8: _sub($arr, 1, $n);
9: }
ジェネレータ関数を呼び出して
いるがforeach文を使ってない



動くようになった…けどなんか腑に落ちない
1: function _sub($arr, $i, $n) {
2: for (; $i<$n; $i+=2)
3: yield $arr[$i];
4: }
7: foreach (_sub($arr, 0, $n) as $x)
8: yield $x;
9: foreach (_sub($arr, 1, $n) as $x)
10: yield $x;
11: }

まとめ

◆ $->send()を使うと、双方向での値の受け渡し
が可能
◆ マルチスレッドよりも低機能だが軽量
◆ 非同期処理が自然な形で記述できる
◆ 落とし穴もあるよ！


おまけ
More Things


おまけ：PHP5.5 コンパイル方法

$ git clone
https://github.com/nikic/php-src.git
$ cd php-src/
$ git checkout -b addGeneratorSupport
origin/addGeneratorSupport
$ ./buildconf
$ apxs2=/usr/local/apache2/bin/apxs
$ ./configure --with-apxs2=$apxs2
$ nice -20 time make
$ sapi/cli/php myexample.php


おまけ：インデックスつきyield

1: function gfunc() { // 実行結果
2: yield 'a'; 0 => a
3: yield 'b'; 1 => b
4: yield 99=>'c'; 99 => c
5: }
6:
7: $g = gfunc();
8: foreach ($g as $k=>$v) {
9: echo "$k => $v n";
10: }


おまけ：参照渡しでのyield

1: function &gfunc(&$arr) { // 実行結果
2: foreach ($arr as &$x){ array(3) {
3: yield $x; [0]=>
4: } int(11)
5: } [1]=>
6: int(21)
7: $arr = [10, 20, 30]; [2]=>
8: $g = gfunc($arr); &int(31)
9: foreach ($g as &$x) }
10: $x += 1;
11: var_dump($arr);


おまけ：クロージャとの比較

それ、クロージャでもできるよ！
function fib() { // 使い方
list($x, $y) = $closure = fib();
[0, 1]; $x = $closure();
return function() while ($x < 100) {
use ($x, $y) { echo $x, "n";
$tmp = $x; $x = $closure();
list($x, $y) = }
[$y, $x+$y];
return $tmp;
};
}


おまけ：クロージャとの比較

クロージャ版ジェネレータ版
function fib() { function fib() {
list($x, $y) = list($x, $y) =
[0, 1]; [0, 1];
return function() while (TRUE) {
use ($x, $y) { yield $x;
$tmp = $x; list($x, $y) =
list($x, $y) = [$y, $x+$y];
[$y, $x+$y]; }
return $tmp; }
};
・毎回先頭から実行される・前回の終了場所から自動
} 制約的に再開 (より自然な記述)
・すべてをreturnの前に書・yieldの後ろにも処理が書
かなければならない制約ける (より自然な記述)

おまけ：内部イテレータとの比較

それ、内部イテレータでもできるよ！
function fib($fn) { // 使い方
list($x, $y) = fib(function($x) {
[0, 1]; echo $x, "n";
while ($x < 100) { });
$fn($x);
list($x, $y) =
[$y, $x+$y];
}
}



ループの終了条件も指定したい場合は、非常にブサイク
function fib($c,$fn){ // 使い方終了条件と…
list($x, $y) = fib(
[0, 1]; function($x) {
while ($c($x)) { return $x < 100;
$fn($x); },
list($x, $y) = function($x) {
[$y, $x+$y]; echo $x, "n";
} }
} ); ボディ部の両方が必要



可変箇所が複数ならジェネレータのほうがよっぽどきれい
function fib(){ // 使い方
list($x, $y) = foreach(fib() as $x){
[0, 1]; // 終了条件
while (TRUE) { if ($x >= 100)
yield $x; break;
list($x, $y) = // ボディ部
[$y, $x+$y]; echo $x, "n";
} };
}


Rubyでは、1つの無名関数 (ブロック) で「終了条件」と
「ボディ部」の両方を指定できる。

def fib() // 使い方
x, y = 0, 1 fib {|x|
while true // 終了条件
yield x break if x >= 100
x, y = y, x+y // ボディ部
end puts x
end }


おまけ：「継続 (Continuation)」との比較

◆ 継続のほうができることが広い、
ジェネレータはそのサブセット
※
◆ 継続はcall stackを丸ごとコピーするので重い、
ジェネレータはstack ﬂame1つだけなので軽い
◆ 継続は理解するのがすーーーっごく難しい、
ジェネレータはわかりやすいし使いやすい

※処理系により実装方法は異なる場合がある


おまけ：ベンチマーク
Code: https://gist.github.com/3710544

配列に詰め込む
Loop のは高コスト

Array

Generator

Inner Iterator

Closure
0 0.2 0.4 0.6 0.8
(sec)

PHP: 5.5-addGeneratorSupport
OS: MacOSX
CPU: Core2DUO 2GHz

おまけ：ベンチマーク
Code: https://gist.github.com/3710569

Loop ジェネレータは
十分に低コスト
Generator

G + explode()

G + explode()
+ array()
0 0.5 1 1.5 2
(sec)

ループ内処理 (explode()やarray())
のほうがよっぽど高コスト
PHP: 5.5-addGeneratorSupport
OS: MacOSX
CPU: Core2DUO 2GHz

おまけ：参考文献

◆ What PHP 5.5 might look like
http://nikic.github.com/2012/07/10/What-PHP-5-5-might-look-like.html

◆ Request for Comments: Generators
https://wiki.php.net/rfc/generators

◆ Scheme/継続の種類と利用例
http://ja.wikibooks.org/wiki/Scheme/継続の種類と利用例

◆ Vallog - 継続の実装方針
http://valvallow.blogspot.jp/2011/01/blog-post_11.html

◆ Twisted Intro: 「コールバック」ではない方法
http://skitazaki.appspot.com/translation/twisted-intro-ja/p17.html

◆ 境界を越える: 継続とWeb開発、そしてJavaプログラミング
http://www.ibm.com/developerworks/jp/java/library/j-cb03216/index.html


PHP5.5新機能「ジェネレータ」初心者入門

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to PHP5.5新機能「ジェネレータ」初心者入門

Similar to PHP5.5新機能「ジェネレータ」初心者入門 (20)

More from kwatch

More from kwatch (20)

Recently uploaded

Recently uploaded (12)

PHP5.5新機能「ジェネレータ」初心者入門