Your SlideShare is downloading. ×
0
カスタムメモリマネージャと高速なメモリアロケータについて     @aizen76
自己紹介ハンドルネーム alweiTwitter ID @aizen76alweiもしくはaizenのどちらかを使っています流浪のゲームプログラマWii、DS、PSP、PS3、3DSのゲームとか作ってた2Dゲーム好きなのに、実は3Dゲームしか作...
自己紹介根っからのVimmerだったり、Opera使いだったり、Happy Hacking Keyboard使いだったり、SKK使いだったりであとは極普通のC++er闇の軍団とかこわいなのに気づいたら周りに沢山いたりしてガクブルしてます
本題
カスタムメモリマネージャ
メモリ確保を監視、もしくは変更するC++においてnew演算子でメモリを確保する際に、operatorオーバーロードでメモリ動作をフックしますinline void* operator new(std::size_t size) {  retur...
何が嬉しいの?* メモリをどこで確保したのかわかる* 残りのメモリ量がわかる* メモリの断片化具合がわかる* フリーストアやヒープ以外からでもメモリを取得出来る* メモリアラインメントが指定出来る* 状況によってメモリセクションを使い分けること...
楽なことばかりではないメモリを管理するということは自分で責任を持つということメモリ関係のバグは言わば即死系なものや、メモリ破壊による追跡不能なものが多い自分のやっていることに自信がない限りは、安易にメモリ管理しようとは思わないことメモリ破壊バグ...
カスタムメモリマネージャを使用しての様々な実用例
メモリリークを調べるnewした場所を記憶し、そのメモリがどこで確保されたかを知る確保したメモリをリスト化し、一定感覚で情報をログとして出力させる例えばゲームのステージ開始時と終了時をチェックステージ開始時と終了時で差異が出ている場合は警告として...
エラーチェックカスタムメモリマネージャで確保されたメモリかをチェックメモリを確保する際にヘッダ情報を追加しておくヘッダには一意のシグニチャを付加(0xDEADC0DE等が有名)確保と開放時にこれが一致しないとエラー■ new内部AllocHea...
エラーチェックメモリ確保時に確保サイズ末尾にマーカー情報を埋め込むマーカーは二度と書き換えられないので、変更があったら不正扱いとしてエラー処理を行う配列などで確保した際にデータが壊れていないかに役立つ■ new内部int* marker = r...
更にもっと高度なメモリ管理
デフラグ・メモリコンパクション次々とメモリを確保していくと次第にメモリが断片化していく断片化は長く起動するアプリケーションほど起きやすい断片化が緩やかに進むといつかメモリが確保出来なくなる小さいデータが大量にあって大きいデータを確保すると、メモ...
スマートポインタでポインタをラップ生ポインタをスマートポインタでラップして確保されたポインタの情報を連結リストにするポインタがスマートポインタにラップされているので、リストを辿りながら少しずつメモリの内容を移動させていくインタフェースに制限を加...
デフラグコストの分割ゲームはリアルタイム要求がとてもきついので、単純にデフラグすればいいというものではない特にデフラグとはメモリブロックのコピーなのでとても遅い断片化は即死するわけではないので、数フレームにわけて少しずつ移動させていけばいい処理...
メモリ管理はとても便利だが危険メモリを管理するメリットというのは沢山あるが、ややこしさはかなり増すので必要性がなければオススメ出来ないしかし上手くやればどんどん便利になるので、積極的に活用すべき時は活用すべし「えーマジメモリ管理!?」「メモリ管...
高速なメモリアロケータ
メモリアロケータとは一般的にはメモリを確保する仕組みである通常はフリーストア(ヒープ)上から取得するものだが、メモリアロケータを自作することにより、それ以外の場所からでも自由に取得出来るようにすることが出来る通常、mallocやnewはフリース...
様々なアロケータの紹介
スタックアロケータその名の通りスタックベースなアロケータ先頭ブロックから順にメモリを取得していきますメモリの確保と開放は必ず同じ順番にならないといけない確保されているメモリのサイズと順番がわかるため、非常に高速でかつ、無駄なメモリを使用しない欠...
両端スタックアロケータスタックアロケータで使用する単一のメモリブロックの最下位と最上位で互いにトレードオフを行い、必要なメモリを分配しながら確保していくMidway社が開発したHydro Thunderというレースゲームでは全てのメモリ割り当て...
シングルフレームアロケータこれもスタックアロケータを使用したアロケータゲームの1フレームをメモリの寿命とする次フレームの頭で全てのメモリは開放されるので、自分でfreeやdeleteをする必要がない寿命が固定されているので自分ではメモリを制御出...
ダブルバッファアロケータシングルフレームアロケータをダブルバッファにしたもの確保したメモリは次のフレームまで持続し、アクティブなバッファをフレームごとに切り替えて寿命がきた時に自動で開放していく1フレームだけ長生きするので、後で確保したメモリを...
スモールオブジェクトアロケータModern C++ Designの作者、Andrei Alexandrescuさんが考案したアロケータ小さいオブジェクトのメモリ確保に特化している小さいオブジェクトを効率よく確保しつつサイズも抑える本当に小さいオ...
メモリプールアロケータ固定長サイズの領域から固定サイズのメモリを確保する必ず固定サイズなので確保時間も開放時間も常に一定断片化の心配も一切ないdeleteを忘れてもリークすることはないが、長時間開放しないとメモリプールを圧迫し、最終的にメモリが...
メモリプールアロケータメモリプールはかなり万能なアロケータメモリ容量を無駄に使用してしまうという欠点を除けば、newやmallocのデメリットはほぼ消しさることが出来るお手軽に使用出来るので、使わない手はないplacement newを使用する...
実際にメモリプールを使ってみる
汎用メモリプール!!
汎用メモリプールnewで確保するものを全てメモリプールから取得メモリマネージャ内に5つ程度のメモリプールを作成しておくメモリマネージャが自動で複数あるプールから必要なメモリサイズに応じてプールを選択する大体16バイト〜256バイトくらいまでサポ...
結論汎用メモリプールが超万能STLをバリバリ使っても「もう何も怖くない」状態Boostだろうとメモリをフックしてしまえばどうにでもなるみんなもメモリプールを使って「あのライブラリがメモリ確保しまくってオセーんだよ!!」みたいな状況から脱却しましょう
GitHubにてソースコード公開中!! https://github.com/alwei/MemoryMaster
ご静聴ありがとうございました
Upcoming SlideShare
Loading in...5
×

カスタムメモリマネージャと高速なメモリアロケータについて

26,799

Published on

0 Comments
36 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
26,799
On Slideshare
0
From Embeds
0
Number of Embeds
10
Actions
Shares
0
Downloads
111
Comments
0
Likes
36
Embeds 0
No embeds

No notes for slide

Transcript of "カスタムメモリマネージャと高速なメモリアロケータについて"

  1. 1. カスタムメモリマネージャと高速なメモリアロケータについて @aizen76
  2. 2. 自己紹介ハンドルネーム alweiTwitter ID @aizen76alweiもしくはaizenのどちらかを使っています流浪のゲームプログラマWii、DS、PSP、PS3、3DSのゲームとか作ってた2Dゲーム好きなのに、実は3Dゲームしか作ったことがない最近触手軍団に仲間入りして、オンラインゲームを作り始めましたアジャイルとかTDDとか勉強中
  3. 3. 自己紹介根っからのVimmerだったり、Opera使いだったり、Happy Hacking Keyboard使いだったり、SKK使いだったりであとは極普通のC++er闇の軍団とかこわいなのに気づいたら周りに沢山いたりしてガクブルしてます
  4. 4. 本題
  5. 5. カスタムメモリマネージャ
  6. 6. メモリ確保を監視、もしくは変更するC++においてnew演算子でメモリを確保する際に、operatorオーバーロードでメモリ動作をフックしますinline void* operator new(std::size_t size) { return memAlloc(size);}inline void operator delete(void* deletePtr) { memFree(deletePtr);}
  7. 7. 何が嬉しいの?* メモリをどこで確保したのかわかる* 残りのメモリ量がわかる* メモリの断片化具合がわかる* フリーストアやヒープ以外からでもメモリを取得出来る* メモリアラインメントが指定出来る* 状況によってメモリセクションを使い分けることが出来る* etc...
  8. 8. 楽なことばかりではないメモリを管理するということは自分で責任を持つということメモリ関係のバグは言わば即死系なものや、メモリ破壊による追跡不能なものが多い自分のやっていることに自信がない限りは、安易にメモリ管理しようとは思わないことメモリ破壊バグで丸一日潰れるくらい覚悟する必要もコンソールゲームの世界ではメモリがカスタム出来ないと、お話にならないことが多いのでやらざるえない
  9. 9. カスタムメモリマネージャを使用しての様々な実用例
  10. 10. メモリリークを調べるnewした場所を記憶し、そのメモリがどこで確保されたかを知る確保したメモリをリスト化し、一定感覚で情報をログとして出力させる例えばゲームのステージ開始時と終了時をチェックステージ開始時と終了時で差異が出ている場合は警告として報告するなどするとすぐにリークが発覚する
  11. 11. エラーチェックカスタムメモリマネージャで確保されたメモリかをチェックメモリを確保する際にヘッダ情報を追加しておくヘッダには一意のシグニチャを付加(0xDEADC0DE等が有名)確保と開放時にこれが一致しないとエラー■ new内部AllocHeader* header = reinterpret_cast<AllocHeader*>(allocPtr)header->signature = 0xDEADC0DE;■ delete内部assert(header->signature == 0xDEADC0DE);
  12. 12. エラーチェックメモリ確保時に確保サイズ末尾にマーカー情報を埋め込むマーカーは二度と書き換えられないので、変更があったら不正扱いとしてエラー処理を行う配列などで確保した際にデータが壊れていないかに役立つ■ new内部int* marker = reinterpret_cast<int*>(memAddr + size);marker = MARKER_NUMBER;■ delete内部int* marker = reinterpret_cast<int*>(memAddr + size);assert(*marker == MARKER_NUMBER);
  13. 13. 更にもっと高度なメモリ管理
  14. 14. デフラグ・メモリコンパクション次々とメモリを確保していくと次第にメモリが断片化していく断片化は長く起動するアプリケーションほど起きやすい断片化が緩やかに進むといつかメモリが確保出来なくなる小さいデータが大量にあって大きいデータを確保すると、メモリの容量的には全然足りていても普通に確保出来ないことも■ どうする? C++以外の言語ではGCで勝手にお掃除してくれる メモリの情報を再配置(コンパクション)するしかない でもどうやって?
  15. 15. スマートポインタでポインタをラップ生ポインタをスマートポインタでラップして確保されたポインタの情報を連結リストにするポインタがスマートポインタにラップされているので、リストを辿りながら少しずつメモリの内容を移動させていくインタフェースに制限を加えれば安全にコンパクション出来るはずアンチャーテッドで有名なノーティドッグ社のゲームエンジンでは上記の方法で出来る限りスマートポインタを使用し、安全にメモリの内容を定期的にデフラグしている ※Game Engine Architectureより
  16. 16. デフラグコストの分割ゲームはリアルタイム要求がとてもきついので、単純にデフラグすればいいというものではない特にデフラグとはメモリブロックのコピーなのでとても遅い断片化は即死するわけではないので、数フレームにわけて少しずつ移動させていけばいい処理負荷が高い時などは自動的にデフラグを停止する機能があったりすれば処理落ちにも強い
  17. 17. メモリ管理はとても便利だが危険メモリを管理するメリットというのは沢山あるが、ややこしさはかなり増すので必要性がなければオススメ出来ないしかし上手くやればどんどん便利になるので、積極的に活用すべき時は活用すべし「えーマジメモリ管理!?」「メモリ管理が許されるのは小学生までだよねー」みたいに他のLLやVMで動く言語と比較されてバカにされても負けずにメモリのことを正確に知りちゃんと扱いましょう
  18. 18. 高速なメモリアロケータ
  19. 19. メモリアロケータとは一般的にはメモリを確保する仕組みである通常はフリーストア(ヒープ)上から取得するものだが、メモリアロケータを自作することにより、それ以外の場所からでも自由に取得出来るようにすることが出来る通常、mallocやnewはフリーストア(ヒープ)から取得するしかしplacement new等を使用すればそれ以外の領域からでもメモリを扱うことが出来る工夫次第でメモリ使用量を削減したり、高速に動作するアロケータを自作するようなことも可能
  20. 20. 様々なアロケータの紹介
  21. 21. スタックアロケータその名の通りスタックベースなアロケータ先頭ブロックから順にメモリを取得していきますメモリの確保と開放は必ず同じ順番にならないといけない確保されているメモリのサイズと順番がわかるため、非常に高速でかつ、無駄なメモリを使用しない欠点はメモリを自由に開放出来ない一時的に大きなテンポラリバッファが必要な場合に有効
  22. 22. 両端スタックアロケータスタックアロケータで使用する単一のメモリブロックの最下位と最上位で互いにトレードオフを行い、必要なメモリを分配しながら確保していくMidway社が開発したHydro Thunderというレースゲームでは全てのメモリ割り当てが両端スタックアロケータになっており、最下位スタックはレベルのロードやアンロードに使われ、最上位スタックはテンポラリバッファとして使用していたメモリの断片化が一切起こらず、非常に高速に動作していた
  23. 23. シングルフレームアロケータこれもスタックアロケータを使用したアロケータゲームの1フレームをメモリの寿命とする次フレームの頭で全てのメモリは開放されるので、自分でfreeやdeleteをする必要がない寿命が固定されているので自分ではメモリを制御出来ない確保したメモリを次フレームを跨って使用してはいけない扱いは難しいが割り切って使えば非常に高速
  24. 24. ダブルバッファアロケータシングルフレームアロケータをダブルバッファにしたもの確保したメモリは次のフレームまで持続し、アクティブなバッファをフレームごとに切り替えて寿命がきた時に自動で開放していく1フレームだけ長生きするので、後で確保したメモリを使用して処理させたいという時には非常に便利自分でdeleteする必要がないのも一緒
  25. 25. スモールオブジェクトアロケータModern C++ Designの作者、Andrei Alexandrescuさんが考案したアロケータ小さいオブジェクトのメモリ確保に特化している小さいオブジェクトを効率よく確保しつつサイズも抑える本当に小さいオブジェクト向けらしい具体的には32バイト程度で64バイト以上は普通に遅い?LokiというC++ライブラリの中ではあらゆるものでこのアロケータを使用し、高速に動作しているらしい
  26. 26. メモリプールアロケータ固定長サイズの領域から固定サイズのメモリを確保する必ず固定サイズなので確保時間も開放時間も常に一定断片化の心配も一切ないdeleteを忘れてもリークすることはないが、長時間開放しないとメモリプールを圧迫し、最終的にメモリが更に必要になる■有名な実装 Boost.Pool Efficient C++ MemoryPool
  27. 27. メモリプールアロケータメモリプールはかなり万能なアロケータメモリ容量を無駄に使用してしまうという欠点を除けば、newやmallocのデメリットはほぼ消しさることが出来るお手軽に使用出来るので、使わない手はないplacement newを使用することにより、実装することも出来るが自分で拡張出来るようにしておいた方が後々得することが多い特に断片化知らずなので、断片化で悩んでいた人はこれを使って解消しましょう
  28. 28. 実際にメモリプールを使ってみる
  29. 29. 汎用メモリプール!!
  30. 30. 汎用メモリプールnewで確保するものを全てメモリプールから取得メモリマネージャ内に5つ程度のメモリプールを作成しておくメモリマネージャが自動で複数あるプールから必要なメモリサイズに応じてプールを選択する大体16バイト〜256バイトくらいまでサポートすれば十分それ以上のメモリを確保する際は通常のnewの処理を行う
  31. 31. 結論汎用メモリプールが超万能STLをバリバリ使っても「もう何も怖くない」状態Boostだろうとメモリをフックしてしまえばどうにでもなるみんなもメモリプールを使って「あのライブラリがメモリ確保しまくってオセーんだよ!!」みたいな状況から脱却しましょう
  32. 32. GitHubにてソースコード公開中!! https://github.com/alwei/MemoryMaster
  33. 33. ご静聴ありがとうございました
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×