More real animation edition is here: http://bit.ly/qWASUZ

1. ブログ "Developer@ADJUST"
http://devadjust.exblog.jp/
Twitter: @jsakamoto

2. こんなシナリオ
 CSV形式の文字列を、オンメモリで生成し
て、ブラウザに返す .NET3.5 Webアプリ。
 32bit OS / 物理メモリ2GB
 Unicodeで 24MB、1千2百万文字くらいの
サイズの CSV をオンメモリ生成。
 OutOfMemoryException 発生。

3. たかだか24MBを生成するのに
何故メモリ不足!?
 StringBuilder に次々と Append すること
で、CSV 文字列を構築。
 StringBuilder は、容量いっぱいまで充填さ
れると、今の容量x2倍のメモリ領域を確保、
充填済みの文字列をコピーすることで伸張。
 つまり、連続したメモリ領域の確保が必要。
 メモリの空き領域が断片化していると伸張
時に OutOfMemoryException 発生。

4. さらに LargeObjectHeap の仕様が...
 85KB を越えるオブジェクトは
LargeObjectHeap と呼ばれる専用のメモリ
管理下におかれる。
 LOH は (当たり前だが) GC は行われる。
しかし、コンパクションは行われない。
 LOH に新たなオブジェクトを確保しようと
すると、LOHに残存する最後尾のオブジェ
クトのあとに、メモリ領域確保する。

6. StringBuilder オブ LOH最後尾に残存し
ジェクトにAppned ている、何かしらの
済みの部分 オブジェクト
Large Object Heap
StringBuilder オブ
ジェクトの容量

7. out of
memory

8. テンポラリファイルを使うことも
一瞬考えた。が...
 次々とテンポラリファイルに Write、
最後にそのテンポラリファイルの内容をブ
ラウザに返信すれば、メモリ不足例外は発
生しない。
 しかし、物理メモリ2G積んでるのに、たか
だか24MBの生成に失敗すること自体、負け
てる気がして許せなかった。

9. LinkedList<T>使ってみた
 LinkedList<T> は、連続したメモリ領域を必
要としない。
 メモリ断片化の影響を受けない。
 CSV生成に成功！
 ...しかし！GC発生時にアプリが応答無しに！
 約12万個のオブジェクトが生成されていた。

10. List<T>使ってみた
 LinkedList は CSV の素片 string オブジェクト
に加えて、コンテナも生成される。
 すなわちオブジェクト数が2倍に。
 List<T> で CSV の素片を溜めれば、オブジェ
クト数は6万個まで抑えられるはず...
 やってみたら、List<T>を伸張するところで
OutOfMemoryException。
 List<T> も StringBuilder と同じ伸張をするので、
メモリ断片化か、LOH問題に抵触するほど大きく
なってしまった模様。

12. StringBuilder と
LinkedList<T> を組合わせる！
 閾値:85KB 未満の容量を初期指定して、
StringBuilder のインスタンス生成。
 容量に達するまで StringBuilder に Append。
 容量に達したら、ToString() して
LinkedList<T>に溜め、StringBuilder は長
さ 0 にリセット。
 以上を必要なだけ繰り返し。
 LinkedList<T> を ToArray() して
string.Concat(string[]) で連結して完成！

13. 何かしらのオブ 何かしらのオブ
85KB 未満 ジェクト ジェクト
StringBuilder を生成

15. その他の解決
 64bit OS に載せ替える
 .NET4.0 CLR に載せ替える
 オンメモリにバッファリングしないで、ス
トリーミングする