システムパフォーマンス勉強会#6
•Download as PPTX, PDF•
1 like•1,061 views
社内システムパフォーマンス勉強会の第6回 詳解システム・パフォーマンス 7 章 メモリ
Recommended
More Related Content
What's hot
What's hot (19)
Similar to システムパフォーマンス勉強会#6
Similar to システムパフォーマンス勉強会#6 (20)
More from shingo suzuki
システムパフォーマンス勉強会#6
- 2. 注意 • このスライドは勉強会後に SlideShare にアップロードする予 定です • メーリングリストで告知予定
- 3. 今回の内容 詳解システム・パフォーマンス 7 章 • 7 メモリ • 基礎知識 • アーキテクチャ • メソドロジ • 分析 • チューニング
- 4. ■ 用語 • メインメモリ • 物理メモリ、実メモリとも • コンピュータの中田の高速ストレージ領域。たいていは DRAM • 仮想メモリ • メインメモリの抽象。仮想メモリ≠メインメモリ • アドレス空間 • メモリのコンテキスト。各プロセス・カーネルはそれぞれの仮想アドレス空間を持 つ • セグメント • 実行可能または書き込み可能ページを格納するなど、特定の目的のためにフラグを 付けられたメモリ領域 • OOM • Out Of Memory • 見たくないログのひとつ
- 5. ■ 用語 • ページ • OSとCPUが使うメモリの単位。伝統的に 4kB or 8kB • 最近はヒュージページで2MBなど大きなサイズもある • ページフォルト • 無効なページアクセス • ページング • メインメモリとストレージデバイスの間でのページの転送
- 6. ■要注意な用語 • スワッピング(広義) • メインメモリとスワップデバイスの間でプロセス全体をやり取りする こと • スワッピング(Linux) • スワップデバイスへのページング • スワップ • ページングされる無名データやスワップされるプロセスのディスク上 の部分 • 一部仮想メモリの意味で「スワップ」を使うツール・ドキュメントも 存在する
- 7. ■ コンセプト • 仮想メモリ • ページング • デマンドページング • オーバーコミット • スワッピング • ファイルシステムキャッシュ • 使用率と飽和 • アロケータ
- 10. ページング • ページをメインメモリに出し入れすること • ページイン 外部からメインメモリに移動 • ページアウト メインメモリから外部に移動 • 単位となるページのサイズは比較的小さい • 2種類存在 • ファイルシステムページング • スワッピング (無名ページング)
- 11. デマンドページング • 仮想メモリページをオ ンデマンドで物理メモ リにマッピングする • 実際にマッピングが必 要になるときまで先送 りできる MMU アロケート済み AND マッピング済み アロケート済み 未アロケート 仮想メモリ 物理メモリ アロケート のみ 書き込み ページフォルト
- 13. スワッピング • メインメモリと物理スワップデバイス・ファイルの間でプロセ ス全体を移動すること • Linuxシステムはプロセスのスワップを一切行わずページング だけ行う • 「システムがスワップしている」という場合は、通常はページ ングが行われているという意味
- 14. ファイルシステムキャッシュ • OSによるファイルシステムのキャッシュ • 何もしないでもメモリの使用度合いは増えていく • アプリケーションがメモリを必要としたときに素早く解放されるよう になっている
- 15. 使用率と飽和 • メインメモリの使用率=メモリ全体に対する使用済みメモリの 割合 • メモリ需要がメインメモリの容量を超える＝飽和状態 • ページング、スワッピングでフリーメモリ • OOMキラー • システムが制限する場合 • malloc()が ENOMEM を返すなど
- 16. アロケータ • 仮想アドレス空間内での実際のアロケーションと配置を行う • パフォーマンスに大きな影響を与える可能性がある • システムは複数のユーザーレベルアロケータライブラリを提供 して選択可能にしている • アーキテクチャで具体例があるならここで書かないでもいいか も
- 17. ■ アーキテクチャ • ハードウェア • ソフトウェア • プロセスのアドレス空間
- 18. ハードウェア • メインメモリ • レイテンシ • メインメモリのアーキテクチャ • バス • DDR SDRAM • MMU • TLB
- 19. メインメモリ • DRAM • 揮発性メモリ • 電源が落ちた時に内容が失われるメモリ • 各ビットは 2 個の論理コンポーネント
- 20. レイテンシ • CAS (Column Address Strobe) • メインモジュールに読みたいアドレスを送ってからデータが読める状 態になるまでの時間 • レイテンシの大きさはメモリタイプによってことなる • メモリバスがキャッシュライン分を転送するため、このレイテ ンシが複数回発生することがある
- 21. メインメモリのアーキテクチャ • UMA • CPU1→DRAM B • システムバスを経由(１hop) CPU1 CPU2 DRAM A DRAM B • NUMA • CPU1 → DRAM B • インターコネクトとCPU2, メ モリバスを経由(2hop( CPU1 CPU2 DRAM A DRAM B
- 22. NUMA QA • NUMAかどうかがパフォーマンスに影響を与えるか？ • → YES • シングルスレッドならパフォーマンスに影響ないか？ • → NO • コードを書く際に気をつける必要があるか？ • GC あり • →どちらかというとチューニング項目 • GCなし • NUMA-aware なコーディングは可能 • 異なるCPU≒スレッドで確保された領域へのアクセスは避けた方が無難 • 必要な場合はpage migration などもあり • NUMAのチューニングは可能か？ • →YES • 最近はデフォルトで NUMA 向けの設定になっているはず
- 23. MMU I＄ D＄ MMU TLB L2キャッシュ ページテーブル on メインメモリ CPU 仮想 アドレス PTE L1 キャッシュ 物理アドレス キャッシュを 調べる 仮想アドレス-> 物理アドレス への変換 物理アドレス で参照 TLBミス • 変換はページ単位 • 仮想アドレスから物理アドレス は、メインメモリ上のページ テーブルにPTE(ページテーブ ルエントリ)として保存される 仮想 アドレス で参照
- 24. TLB (Translation Look-aside Buffer) • 「変換索引バッファ」 • PTEのキャッシュ • 命令用TLBとデータ用TLBがある • 容量に限りがある • ヒュージページを使うとPTEの数を減らせる=キャッシュできる量が増える
- 25. ソフトウェア • メモリの解放
- 26. メモリの解放 • 上に行くほどメモリが減って きたときに使用される OOM キラー リーピング ページキャシュ の開放 スワッピング 高 低 利用可能 メモリ swappiness で割合を調整
- 27. メモリの解放 • フリーリスト • ページキャッシュ • ファイルシステムキャッシュ • スワッピング • リーピング • OOM キラー
- 29. スワッピングとページスキャン • カーネルのページアウトデーモン(kswapd)がページスキャンを行う • リストは LRU (Least Recently Used) • 非アクティブリストの末尾からページを開放する アクティブリスト 非アクティブリスト フリーリストへ 参照されたら移動 先 頭 先 頭 アクティブリストが一定の 長さを超えたら移動 新ページ 参照されたら移動
- 30. リーピング • 主にカーネルのスラブアロケータキャッシュからのメモリ解放 • キャッシュには再利用のためにチャンクという形で未使用メモリが含 まれる • カーネルモジュールについても register_shrinker() で、その カーネルモジュール向けのリーピング向け関数を登録できる
- 32. プロセスのアドレス空間 • セグメント • ヒープの成長 • アロケータ
- 33. セグメント セグメントのタイプ • 実行可能テキスト • 実行可能CPU命令 • 実行可能データ • 初期化済み変数 • ヒープ • プロセスのワーキングメモリ • スタック • 実行中のスレッドのスタック
- 34. ヒープの成長 • ヒープの成長 • ヒープが大きくなったからといって、必ずしも問題にならない • 良く混乱の原因になる • free()はすぐにはOSにメモリを返さない • 将来のアロケーションのためにキープされる • メモリサイズを縮小するには • プログラムの再実行 • からのアドレス空間から実行 • メモリへのマッピング • mmap(),munmap()を使うとシステムにメモリが返却できる
- 35. アロケータ • ユーザーレベルと、カーネルレベルのものがある • 次のような機能を持つ • 単純なAPI • メモリの効率的な利用 • パフォーマンス • 可観測性
- 36. スラブ(slab)アロケータ • カーネルのスラブアロケータ • 特定サイズのオブジェクトのキャッシュを管理 • 高速にリサイクル • Linux では SLUB アロケータがデフォルト • slab アロケータを基礎としているがいろいろ改良されている
- 37. ユーザレベルアロケータ • libcアロケータ • glibcアロケータ • tcmalloc • Thread Caching malloc • google 製 malloc • jemalloc
- 38. jemalloc • facebook 製のユーザレベルアロケータ • 特徴： • マルチコア環境でもマルチスレッドプログラムのスケーラビリティ改 善 • メモリ領域のフラグメンテーションを減らす • メモリに関する検査機能、ツールを提供 • メモリリークも検出可能
- 39. ■ メソドロジ • ツールメソッド • USE メソッド • 使用形態の特性の把握 • サイクル分析 • パフォーマンスモニタリング • リーク検出 • 静的パフォーマンスチューニング • リソースコントロール • マイクロベンチマーキング
- 40. ツールメソッド • ページスキャン • sra –B して pgscan をチェック • ページング • vmstat の si, so をチェックする • OOMキラー • /var/log/messages を確認する • vmstat • top • stap/perf
- 41. USEメソッド • メモリにおける USE は次のようになる • 使用率 • メモリの使用されている量と、利用可能なメモリの量 • 物理メモリと仮想メモリの両方をチェックする • 飽和 • メモリへの圧迫を緩和するためのページスキャン、ページング、スワッピングの度合い • LinuxのOOMキラーに終了されたプロセスのパフォーマンス • エラー • 失敗したメモリアロケーション • この中では飽和を優先的に調べる • スワッピングされている時点で大きな性能劣化が出る • 使用率は解釈が難しい • 再利用可能なファイルキャッシュが10GBあっても、利用可能メモリが 10MBしかな いように見える場合がある
- 42. 使用形態の特性の把握 • メモリをどこで使っているかはっきりさせる • システム全体での物理・仮想メモリの使用率 • 飽和の度合い：ページング、スワッピング、OOMキラー • カーネルとファイルシステムのキャッシュメモリの使い方 • プロセスごとの物理・仮想メモリの使用状況 • メモリリソースコントロールが使われている場合はその使い方
- 43. リーク検出 メモリが圧迫される原因としては • メモリリーク • バグ • メモリが使われていないのに開放されない • メモリの成長 • メモリ消費としては正常 • システムに望ましいペースよりもはるかに早いペースで増えている メモリリークの検出方法はソフトウェアと言語のタイプによって 違う
- 44. 静的パフォーマンスチューニング • メインメモリは合計でどれだけあるか • アプリケーションはどれくらいのメモリを柄用に構成されてい るか • アプリケーションはどのメモリアロケータを使っているか • システムのアーキテクチャは？ NUMA か UMA か • CPUキャッシュの数とサイズはどうなっているか？
- 45. ■ 分析 • slabtop • pmap
- 46. slabtop(1) • スラブアロケータによるカーネルスラブキャッシュの使用状況 を表示する Active / Total Caches (% used) : 69 / 110 (62.7%) Active / Total Size (% used) : 81735.31K / 82237.50K (99.4%) Minimum / Average / Maximum Object : 0.01K / 0.24K / 18.50K OBJS ACTIVE USE OBJ SIZE SLABS OBJ/SLAB CACHE SIZE NAME 52017 52017 100% 0.19K 2477 21 9908K dentry 34714 34714 100% 0.12K 1021 34 4084K kernfs_node_cache 32064 31874 99% 0.06K 501 64 2004K kmalloc-64 26860 26788 99% 0.20K 1343 20 5372K vm_area_struct 19584 19584 100% 0.03K 153 128 612K kmalloc-32 19305 19305 100% 0.10K 495 39 1980K buffer_head 16800 16800 100% 0.55K 600 28 9600K inode_cache 12240 12240 100% 1.05K 408 30 13056K ext4_inode_cache 12096 11689 96% 0.25K 378 32 3024K kmalloc-256 11872 11872 100% 0.07K 212 56 848K Acpi-Operand
- 47. pmap(1) • プロセスのメモリマッピングのサイズetcを表示 /home/shingo-s% pmap 4852 4852: /opt/google/chrome/chrome --type=renderer --field-trial (略) 0000000991a80000 512K rw--- [ anon ] (略) 000055c9aea1f000 23312K r---- chrome (略) 00007fb0118fb000 28K r-x-- liburcu-bp.so.4.0.0 (略) 00007ffe9bf99000 8K r-x-- [ anon ] ffffffffff600000 4K r-x-- [ anon ] total 1474128K
- 48. ■チューニング • チューニング可能なパラメータ • 複数のページサイズ • アロケータ • リソースコントロール
- 49. チューニング可能なパラメータ sysctl(8)から設定可能なメモリ関連のパラメータの例 • vm.dirty_bytes/ratio • バックグラウンドで書き戻しを始めるダーティメモリの量/割合 • vm.overcommit_memory • オーバーコミットの挙動 • vm.swappiness • メモリ解放の手段としてページキャッシュの破棄よりスワッピングを 選ぶ度合い
- 50. ユーザレベルアロケータの変更 • アロケータはコンパイル時、実行時どちらでも選択できる • 実行時にアロケータを入れ替える場合には環境変数 LD_PRELOAD を使う $ export LD_PRELOAD=libumem.so
- 51. まとめ • 感想 • 用語が結構混乱を招いている気がする… • ページング、スワッピング、ページイン、ページアウト • NUMAはパフォーマンス面で落とし穴が多そうな印象 • NUMA-Aware ○○といったタイトルの論文が結構あった • CPU以上にパフォーマンスに関連する部分が多い印象 • チューニングできる部分が多いので最適な設定を探すのが難しそう
- 52. おわり