Downloaded 22 times
![課題３
以下の条件でソースのデータが全
部読み込めるようにしましょう
条件 値
テスト
１
n1 > hwm > n2 n1 = 3, hwm =2, n2 = 1
テスト
２
n1 > n2 > hwm n1 = 3, hwm =1, n2 = 2
テスト
３
hwm > n1 > n2 n1 = 2, hwm =3, n2 = 1
テスト
３
hwm > n2 > n1 n1 = 1, hwm =3, n2 = 2
ソース： ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']
読み込み： 非同期（1秒毎）
読み込み条件
• Readable.read(n1),
• new Readable {highWaterMark: hwm})
• Readable.push(chunk) ただし chunk.length === n2](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-29-320.jpg)
![WritableStream API methods
WritableStream 返り値
実
装
者
用
_write(chunk, encoding, cb) ストリームからリソースへデータを書き出す
関数。実装者が利用です。完了したら cb を実
行。
書き込みにエラーがあったら 第一引数をエ
ラーにして cb を実行する。
生
産
者
用
write(chunk, [encoding], [cb]); WritableStream を経由してリソースにデータ
を書き込む。書き込みが完了したら cb が起動
される。
true hwm以下
false hwm 以上
end([chunk], [encoding], [cb]); 書き込み終了を実行する。リソースがすべて
書き込まれたら finish イベントが発火する。](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-32-320.jpg)
![一番簡単なサンプル(同期）
var dest = [];
var Writable = require(‘stream’).Writable;
Writable.prototype._write = function(chunk, encoding, cb) {
dest.push(chunk); // 同期
cb(null);
};
var wstream = new Writable();
var chunk = new Buffer(“abc”);
wstream.write(chunk, function(err) {
if (err) throw err;
console.log(“write finished”);
});
wstream.on (‘finish’, function() ,
console.log(‘dest=‘ + dest);
});
wstream.end();
生産者
実装者
書き込み
先](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-34-320.jpg)
![同期書き込みサンプルの動き
単一書き込み→完了
書き込み先
var dest = [];
wstream._write(chun
k, encoding, cb)
wstream.write(chunk,
wcb)
消費者
実装者
dest.push(chunk)
cb(err) wcb(err)
内部バッファ
同期書き込
み完了](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-35-320.jpg)
![同期書き込みサンプルの動き
複数書き込み
書き込み先
var dest = [];
wstream._write(chun
k, encoding, cb)
wstream.write(chunk1,
wcb1)
消費者
実装者
内部バッファ
書き込み中
wstream.write(chunk2,
wcb2)
chunk1](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-36-320.jpg)
![同期書き込みサンプルの動き
複数書き込み
書き込み先
var dest = [];
wstream._write(chun
k, encoding, cb)
wstream.write(chunk1,
wcb1)
消費者
実装者
内部バッファ
書き込み完了
wstream.write(chunk2,
wcb2)
内部バッファ中で
待機中の書き込み
リクエストを実行
chunk2](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-37-320.jpg)
![同期書き込みサンプルの動き
複数書き込み
書き込み先
var dest = [];
wstream._write(chun
k, encoding, cb)
wstream.write(chunk1,
wcb1)
消費者
実装者
内部バッファ
空
書き込み完了
wstream.write(chunk2,
wcb2)
内部バッファ中で
待機中の書き込み
リクエストを実行
wcb1(err)
wcb2(err)
drain
イベント](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-38-320.jpg)
![var dest = [], chunks = ['a', 'b', 'c', 'd', 'e', 'f', 'g'];
var Writable = require('stream').Writable;
Writable.prototype._write = function(chunk, encoding, cb) {
setTimeout(function() {
dest.push(chunk); cb(null);
}, 1000);};
var wstream = new Writable();
var sWrite = func tion( c ) {
wstream.write(c, function(err) {
if (err) throw err;
console.log("write(" + c + ") completed");
});};
for(var i = 0; i < chunks.length; i++) sWrite(chunks[i]);
wstream.on('finish', function() { console.log('dest=' + dest); });
wstream.end();
非同期書き込みサンプル](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-40-320.jpg)
![課題4
オレオレ パイプを作ろう
Readable
stream
hwm = 1
Writable
Stream
hwm = 1
src dst
ランダム
(MAX10秒)で
非同期読み
出し
ランダム
(MAX10秒)で
非同期書き
出し
_read
read/
write
_write
var src = *‘a’, ‘b’, ‘c’, ‘d’, ‘e’, ‘f’, ‘g’+; var dst = [];](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-41-320.jpg)
![簡単なサンプル（一文字シフ
ト）var Transform = require('stream').Transform;
Transform.prototype._transform = function(chunk, encoding, cb) {
for(var i = 0; i < chunk.length; i++) chunk[i]++;
this.push(chunk);
cb();
};
Transform.prototype._flush = function(cb) {
this.push(new Buffer('|saigo|'));
cb();
};
var tstream = new Transform();
var data = '';
tstream.on('readable', function() {
var b = tstream.read();
if (b) data += b;
});
tstream.on('end', function() {
console.log('transformed =' + data);
});
tstream.end(new Buffer('abc'));
変換
送り込み
完了通知](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-49-320.jpg)
![課題６
書き込まれたデータの中で [a-zA-Z] を rot13
する Transform stream を作成しなさい。](https://image.slidesharecdn.com/stream2kihon-130517230718-phpapp01/85/Stream2-52-320.jpg)
Stream2の基本
- 1. Node.js v0.10 Stream2のきほん Stream2 ハッカソン IIJ 大津繁樹 2013年5月18日
- 2. Stream は大事なクラス events.EventEmitter stream.Stream net.Socket tls.CleartextStream http.ServerRequest http.ClientResponse http.ServerResponsehttp.ClientRequest http.IncomingMessage http.outgoingMessage node-v0.8
- 3. Stream は大事なクラス events.EventEmitter stream.Stream node-v0.10 stream.Readable stream.Writable http.outgoingMessagestream.Duplex stream.Transform net.Sockettls.CleartextStream その他crypto系クラス crypto sign/verify http.IncomingMessage
- 4.
- 5. Stream1 おさらい Writable Stream dst データの流 れ .write() による データの書き込みdrainイベントによ る 書き込み待ちの解 消通知
- 6. Stream1 おさらい Readable Stream Writable Stream pipe dataイベント で受けたデー タを write() dstsrc write()が false なら pause() drain イベント が発生したら resume()
- 7.
- 8. Stream1 の問題 var server= http.createServer(function(req, res) { setTimeout(function() { var data = ''; req.on('data', function(chunk) { data += chunk; }); req.on('end', function() { console.log(data); }); res.writeHead(200); res.end(); }, 1000); }).listen(8080); POSTデータをちゃんと取れる？
- 9. Stream1 の問題 リスナ Readable Stream データ Readable Streamが 'data' イベントを生成 した時にリスナが存在しなければ、 デー タは失われることに注意してください
- 10.
- 11. Stream2とは？ 内部タンク付きストリーム ストリーム内部にデータバッファを持つことによっ て、 • データの取りこぼしをなくす • 不安定な流れに影響されにくくする •ただし上限値(highWaterMark: default 16kB)が決まっ ている • オブジェクト一つをストリームバッファとして扱
- 12.
- 13. ReadableStream のプレイヤー ソース 実装者消費者 データの源 ストリーム本体。 ソースからデー タを読み込み内 部バッファに蓄 える ストリームから データを受け取 り利用する人 push() read() _read() readable
- 14. Readable 返り値 実 装 者 用 _read(n) Streamから呼ばれる。n は hwm を指す。 N/A push(chunk) 内部バッファの最後にchunkを加える。 (chunkはBufferか文 字列、ただし objectMode じゃない時） chunk を null にすると endイベントが発生 true hwm以下 false hwm 以上 消 費 者 用 setEncoding(en c) StringDecoderを指定する。内部バッファにはdecodeしたも のが加えられる。 undefined read(n) 内部バッファから n バイトデータを読み込む。 n が undefined の場合は内部データ全部 バッファ unshift(chunk) 内部バッファの先頭にchunkを加える。 chunk を null にすると endイベントが発生 true hwm以下 false hwm 以上 パ イ プ pipe(dest, pipOpts) dest(WritableStream)とつなげて書き込む。 {end: false} のオ プションで src の end イベントに伴って自動的に dst.end しない。 複数 dest をつなげることが可能 dest unpipe(dest) dest との pipe を外す。destが指定されてない場合は全ての pipe を外す。 src 旧 モ ー ド 用 resume() 省略 (このメソッドがされると旧モード互換になる。) pause() 省略 (このメソッドがされると旧モード互換になる。) wrap(stream) stream1 のオブジェクトを stream2 に変換するラッパー self ReadableStream API methods
- 15. ReadableStream API events イベント名説明 引数 readable 内部バッファのデータが消費できる時に発生するイ ベント。（でも実は発生条件が結構複雑） N/A end ソースから読み込むデータの終わりを通知された時 に発生するイベント。実質的には Readable.pull(null) されたタイミングで発生するものと考えていいだろ う。（例外有） データを消費(Readable.read) されていないと発生し ないので注意。 N/A error 省略 エラーオブ ジェクト data 旧モードでデータを受けるイベント。このリスナが 登録されていると旧モード互換になる。 データバッ ファ
- 16. 覚えておこう大切なこと Readable.read(0) • ソースからデータを読み込む最初のトリ ガー • 常にnull を返す • 消費者が利用するもの • Readable._read() を実行する。(でもストリーム内 部状態によっては実行されない時も…) • 一番最初の readable イベントのリスナ登 録に合わせて裏で実行される。
- 17. 覚えておこう大切なこと Readable.read(n) ただし n>0 •ストリーム内部バッファのデータを消費者が読み 込む（消費する）関数 • 消費者が利用する • n バイトを取得。読み込みデータが空だと nullが 返る。 • n を指定しない場合はストリーム内部の全データ を取得。通常はこれ。 • n が highWaterMark以上 だとストリームの最大値 が上がるので注意。 • 通常 readable イベントに合わせて実行する。（他 でも使えるけど）
- 18. 覚えておこう大切なこと Readable._read(n) • ソースからのデータを読み込み操作を開始する関数。 ストリーム内部から実行される。 • 実装者が利用する関数 •read(nn)がトリガーだが、実行されるにはいくつか条 件がある。大概は満タンチェックの 以下の条件。 (内部バッファ量 – nn) < highWaterMark • 通常この中で ソースから取得したデータをストリーム に(同期/非同期で） push するように実装する。 • _read()を実装してないとストリームがエラーを throw する。空の関数でもいいので書いておく。 • 渡される n は highWaterMark。参考程度で使わない。 • push()した後に先読み機能でめちゃめちゃ _read() が呼 ばれるので気を付けよう。(後述）
- 19. 覚えておこう大切なこと Readable.push(chunk) • ソースからストリームへデータ(chunk)を送り込む関数。 実装者が利用する。 • pushされたchunk はストリームの内部バッファの最後に 加えられる。 • （おおよそ）push に合わせて readable イベントが発火す ると考えていいだろう。（例外あり） • ストリームが満タン（内部バッファの容量が highWaterMark以上）の時は push は false を返す。（でも 無理やり詰め込める） • 何も渡すデータが無い時、 _read() が呼ばれたら push(‘’) をしておきましょう。 • データ送りの終りは push(null) を実行。これがないと end イベントが発生しないので必ずやろう。 • push() をするとストリームが先読み機能で内部に読み込 めるだけ read(0) を繰り返してきます。無駄な _read() に
- 20. 覚えておこう大切なこと Readable.unshift(chunk) • ストリームの内部バッファの先頭にデー タを追加する関数。 • 消費者が読み込み過ぎたデータをもとに 戻す時に利用する。 •例としては、ヘッダ＋ボディの解析時に ヘッダ分割後残ったバッファ（ボディの 頭の部分）をストリームにまた戻すよう な時に使う。
- 21. 覚えておこう大切なこと old-mode の切り替え 以下のいずれかの条件が合致すれば Stream1の 互換モードとなります。 • data イベントリスナの登録 • pause()の実行 • resume() の実行 (注意) data イベントのデータ読み込みと readable イベントでのデータ読み込みを両立さ せないこと。
- 22. 一番簡単なサンプル(同期） var source =*‘a’, ‘b’, ‘c’, null+; var Readable = require(‘stream’).Readable; Readable.prototype._read = function() { this.push(source.shift()); // 同期 }; var rstream = new Readable(); var data = ‘’; rstream.on(‘readable’, function() , var b = rstream.read(); if (b) data += b; }); rstream.on(‘end’, function() , console.log(‘data =‘ + b); }); 消費者 実装者 ソース
- 23.
- 24. 一番簡単なサンプル 動作概略 内部バッ ファ ソース ‘hoge’ rstream.push(chunk) readable イベント rstream.on(‘readable’, function() { var b= rstream.read() }); まとめ て maybeReadMore while() { rstream.read(0) } rstream_read(hwm) 消費者 実装者 先読み
- 25.
- 26. 注意 var Readable =require(‘readable’).Readable; Readable.prototype._read = function() { this.push(‘hoge’); } var rstream = new Readable(); var data = ‘’; rstream.on(‘readable’, function() , var b = rstream.read(); if (b) data += b; }); rstream.on(‘end’, function() , console.log(‘data=‘ + data); }); EOFがない！ 無限同期読み込み
- 27.
- 28. 課題２ • 課題１のコードをストリームの内部バッ ファが満タンだった時（push の返り値が falseの時）に処理を止めるように改良しま しょう。 •満タンになった場合は、消費者が全部内 部バッファを空にして、ソースからの読 み出しを継続させましょう。
- 29. 課題３ 以下の条件でソースのデータが全 部読み込めるようにしましょう 条件 値 テスト １ n1 >hwm > n2 n1 = 3, hwm =2, n2 = 1 テスト ２ n1 > n2 > hwm n1 = 3, hwm =1, n2 = 2 テスト ３ hwm > n1 > n2 n1 = 2, hwm =3, n2 = 1 テスト ３ hwm > n2 > n1 n1 = 1, hwm =3, n2 = 2 ソース： ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j'] 読み込み： 非同期（1秒毎） 読み込み条件 • Readable.read(n1), • new Readable {highWaterMark: hwm}) • Readable.push(chunk) ただし chunk.length === n2
- 30.
- 31.
- 32. WritableStream API methods WritableStream返り値 実 装 者 用 _write(chunk, encoding, cb) ストリームからリソースへデータを書き出す 関数。実装者が利用です。完了したら cb を実 行。 書き込みにエラーがあったら 第一引数をエ ラーにして cb を実行する。 生 産 者 用 write(chunk, [encoding], [cb]); WritableStream を経由してリソースにデータ を書き込む。書き込みが完了したら cb が起動 される。 true hwm以下 false hwm 以上 end([chunk], [encoding], [cb]); 書き込み終了を実行する。リソースがすべて 書き込まれたら finish イベントが発火する。
- 33. WritableStream API events イベント名説明 引数 drain WritableStream の内部バッファが空になったことを 示すイベント N/A error エラーが発生したイベント エラーオブ ジェクト finish end() 後全てのデータの書き込みが完了したことを示 すイベント N/A pipe パイプがつながったことを示すイベント source unpipe パイプが外されたことを示すイベント source
- 34. 一番簡単なサンプル(同期） var dest =[]; var Writable = require(‘stream’).Writable; Writable.prototype._write = function(chunk, encoding, cb) { dest.push(chunk); // 同期 cb(null); }; var wstream = new Writable(); var chunk = new Buffer(“abc”); wstream.write(chunk, function(err) { if (err) throw err; console.log(“write finished”); }); wstream.on (‘finish’, function() , console.log(‘dest=‘ + dest); }); wstream.end(); 生産者 実装者 書き込み 先
- 35. 同期書き込みサンプルの動き 単一書き込み→完了 書き込み先 var dest =[]; wstream._write(chun k, encoding, cb) wstream.write(chunk, wcb) 消費者 実装者 dest.push(chunk) cb(err) wcb(err) 内部バッファ 同期書き込 み完了
- 36. 同期書き込みサンプルの動き 複数書き込み 書き込み先 var dest =[]; wstream._write(chun k, encoding, cb) wstream.write(chunk1, wcb1) 消費者 実装者 内部バッファ 書き込み中 wstream.write(chunk2, wcb2) chunk1
- 37. 同期書き込みサンプルの動き 複数書き込み 書き込み先 var dest =[]; wstream._write(chun k, encoding, cb) wstream.write(chunk1, wcb1) 消費者 実装者 内部バッファ 書き込み完了 wstream.write(chunk2, wcb2) 内部バッファ中で 待機中の書き込み リクエストを実行 chunk2
- 38. 同期書き込みサンプルの動き 複数書き込み 書き込み先 var dest =[]; wstream._write(chun k, encoding, cb) wstream.write(chunk1, wcb1) 消費者 実装者 内部バッファ 空 書き込み完了 wstream.write(chunk2, wcb2) 内部バッファ中で 待機中の書き込み リクエストを実行 wcb1(err) wcb2(err) drain イベント
- 39. 同期書き込みサンプルの動き finish イベント 書き込み先 var dest= *“abc”+; wstream.end() 消費者 実装者 内部バッ ファ finish イベント 内部バッ ファが空
- 40. var dest =[], chunks = ['a', 'b', 'c', 'd', 'e', 'f', 'g']; var Writable = require('stream').Writable; Writable.prototype._write = function(chunk, encoding, cb) { setTimeout(function() { dest.push(chunk); cb(null); }, 1000);}; var wstream = new Writable(); var sWrite = func tion( c ) { wstream.write(c, function(err) { if (err) throw err; console.log("write(" + c + ") completed"); });}; for(var i = 0; i < chunks.length; i++) sWrite(chunks[i]); wstream.on('finish', function() { console.log('dest=' + dest); }); wstream.end(); 非同期書き込みサンプル
- 41. 課題4 オレオレ パイプを作ろう Readable stream hwm =1 Writable Stream hwm = 1 src dst ランダム (MAX10秒)で 非同期読み 出し ランダム (MAX10秒)で 非同期書き 出し _read read/ write _write var src = *‘a’, ‘b’, ‘c’, ‘d’, ‘e’, ‘f’, ‘g’+; var dst = [];
- 42.
- 43.
- 44. Readable用 Writable用 DuplexStream ReadableとWritableが独立してるだけ (allowHalfOpenオプションが追加されてます。 defaultがtrue なのでどちら か(Readable/Writable)が end しても片方は終了せず、そのままです。）
- 45.
- 46.
- 47.
- 48. TransformStream API methods TransformStream返り値 実 装 者 用 _transform(chunk, encoding, cb) 変換処理を実装する関数。 write(chunk) さ れたデータが chunk として渡されるので chunk を実装者で好きに処理して push(chunk) する。 終わったら cb() して chunk の処理が終 わったことを伝える。 _flush(cb) ストリームデータのデータ変換の最後に 追加の処理をしたいときに実装する。終 了したら cb() を実行。その直後に finish イ ベントが発火する。
- 49. 簡単なサンプル（一文字シフ ト）var Transform =require('stream').Transform; Transform.prototype._transform = function(chunk, encoding, cb) { for(var i = 0; i < chunk.length; i++) chunk[i]++; this.push(chunk); cb(); }; Transform.prototype._flush = function(cb) { this.push(new Buffer('|saigo|')); cb(); }; var tstream = new Transform(); var data = ''; tstream.on('readable', function() { var b = tstream.read(); if (b) data += b; }); tstream.on('end', function() { console.log('transformed =' + data); }); tstream.end(new Buffer('abc')); 変換 送り込み 完了通知
- 50.
- 51.
- 52. 課題６ 書き込まれたデータの中で [a-zA-Z] をrot13 する Transform stream を作成しなさい。
- 53.
- 54.
- 55.