Download as PDF, PPTX
![#define LOOP 1000000000
#define SIZE (1024*1024*1024)
char *region = malloc(SIZE);
int i, j;
for (j = 0; j < LOOP; j) {
for (i = 0; i < SIZE; i++) {
region[i];
}
}
実行時間 (LOOP SIZE)
= 1回のメモリアクセスレイテンシ(?)](https://image.slidesharecdn.com/20140201upload-140305045256-phpapp01/85/slide-19-320.jpg)
![#define LOOP 1000000000
#define SIZE (1024*1024*1024)
char *region = malloc(SIZE);
int i, j;
for (j = 0; j < LOOP; j) {
for (i = 0; i < SIZE; i++) {
region[i];
}
}
実行時間 (LOOP SIZE)
= 1回のメモリアクセスレイテンシ(?)](https://image.slidesharecdn.com/20140201upload-140305045256-phpapp01/85/slide-20-320.jpg)
![#define LOOP 1000000000
#define SIZE (1024*1024*1024)
char *region = malloc(SIZE);
int i, j;
for (j = 0; j < LOOP; j) {
for (i = 0; i < SIZE; i++) {
region[i];
}
}
実行時間 (LOOP SIZE)
= 1回のメモリアクセスレイテンシ(?)](https://image.slidesharecdn.com/20140201upload-140305045256-phpapp01/85/slide-40-320.jpg)
![$ ssh jpugstudy@54.201.1.14
jpugstudy@54.201.1.14's password: JPUGstudy20140201
※現在はアクセスできません
$ ssh jpugstudy@54.201.1.14
jpugstudy@54.201.1.14's password:
Last login: Sat Feb 1 03:27:02 2014 from 35.69.30.125.dy.iij4u.or.jp
__| __|_ )
_| (
/
___|___|___|
Amazon Linux AMI
https://aws.amazon.com/amazon-linux-ami/2013.09-release-notes/
$ micbench mem -h
Usage: micbench mem [options]
-h, --help
-m, --multi NUM
-t, --timeout NUM
-S, --seq
-R, --rand
-L, --local
sharing one region)
-a, --affinity AFFINITY
-s, --size SIZE
-H, --hugetlbfile PATH
-z, --hugepagesize SIZE
-v, --verbose
--debug
Show help
Multiplicity of memory access (default: )
Running time of memory access test (in sec) (default: sec)
Sequential memory access mode (default mode)
Random memory access mode (default: sequential access mode)
Allocate separated memory region for each thread (default:
CPU and memory utilization policy
Size of memory region (default: 1MB)
Use HugePages if specified. Give a path to file on hugetlbfs.
Size of HugePage (default: 2MB)](https://image.slidesharecdn.com/20140201upload-140305045256-phpapp01/85/slide-67-320.jpg)
![micbench
A microbenchmarking toolset
$ micbench -h
!
Usage: micbench command [options]
!
available commands:
help : 'help command' explains about command
io : IO benchmark on block devices and files
lock : lock and sync. cost benchmark
mem : memory latency and bandwidth benchmark](https://image.slidesharecdn.com/20140201upload-140305045256-phpapp01/85/slide-95-320.jpg)
![micbench
A microbenchmarking toolset
$ micbench -h
!
Usage: micbench command [options]
!
available commands:
help : 'help command' explains about command
io : IO benchmark on block devices and files
lock : lock and sync. cost benchmark
mem : memory latency and bandwidth benchmark](https://image.slidesharecdn.com/20140201upload-140305045256-phpapp01/85/slide-96-320.jpg)
![PerfMonger
live on AWS EC2
$ ssh jpugstudy@54.201.1.14
jpugstudy@54.201.1.14's password: JPUGstudy20140201
※現在はアクセスできません
$ perfmonger record
{"time": 1391233526.2996, "cpuinfo": {"nr_cpu": 1, "all": {"%usr": 0.00, "%nice": 0.00, "%sys":
0.00, "%iowait": 0.00, "%irq": 0.00, "%soft": 0.00, "%steal": 0.00, "%guest": 0.00, "%idle":
0.00}, "cpus": [{"%usr": 0.00, "%nice": 0.00, "%sys": 0.00, "%iowait": 0.00, "%irq": 0.00,
"%soft": 0.00, "%steal": 0.00, "%guest": 0.00, "%idle": 100.00}]}, "ioinfo": {"devices":
["xvda1", "xvda3", "xvdf", "xvdg"], "xvda1": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000,
"wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000},
"xvda3": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000,
"w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "xvdf": {"r/s": 0.0000, "w/s":
0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz":
0.0000, "avgqu-sz": 0.0000}, "xvdg": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s":
0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "total":
{"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await":
0.0000}}}](https://image.slidesharecdn.com/20140201upload-140305045256-phpapp01/85/slide-104-320.jpg)
Uploaded byYuto Hayamizu
性能測定道 実践編
2014/2/1に開催された日本PostgreSQLユーザ会 第27回しくみ＋アプリケーション勉強会での講演です。 http://www.postgresql.jp/wg/shikumi/shikumi28
性能測定道 実践編
- 1. 性能測定 道 実践編 早水 悠登 (東大) Thanksto 合田和生（東大）山田浩之（東大）喜連川優（東大、NII） 2014/02/01
- 2. $whoami • 早水 悠登（a.k.a. @hayamiz） • 東京大学喜連川研究室 • • 普段やっていること • • データベースシステム研究 性能測定 たまにやること • 論文書き
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9. MODELING -モデル化• 科学的アプローチの原点 • 測定対象の モデルを作る • 内部の動作原理を知る • 性能に影響を与える要素を選び出す • 性能を数式化する
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19. #define LOOP 1000000000 #defineSIZE (1024*1024*1024) char *region = malloc(SIZE); int i, j; for (j = 0; j < LOOP; j) { for (i = 0; i < SIZE; i++) { region[i]; } } 実行時間 (LOOP SIZE) = 1回のメモリアクセスレイテンシ(?)
- 20. #define LOOP 1000000000 #defineSIZE (1024*1024*1024) char *region = malloc(SIZE); int i, j; for (j = 0; j < LOOP; j) { for (i = 0; i < SIZE; i++) { region[i]; } } 実行時間 (LOOP SIZE) = 1回のメモリアクセスレイテンシ(?)
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40. #define LOOP 1000000000 #defineSIZE (1024*1024*1024) char *region = malloc(SIZE); int i, j; for (j = 0; j < LOOP; j) { for (i = 0; i < SIZE; i++) { region[i]; } } 実行時間 (LOOP SIZE) = 1回のメモリアクセスレイテンシ(?)
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51. 命令パイプラインを ニート化する • 命令パイプラインのやる気を奪う方法 • 命令間データ依存 • • • CPU命令列：A, B, C,… Bの実行にAの実行結果が必要 → Aが終わるまでBは実行できない スーパースカラ実行も同時にニート化できる
- 52.
- 53. 命令パイプラインを ニート化する 1つ前の命令に必ずデータ依存するCPU命令列 __asm__ volatile(“ movq (%%rax),%rax movq (%%rax), %rax movq (%%rax), %rax …"
- 54.
- 55. プリフェッチャをニート化 • プリフェッチできるアクセスパターン • • 順次アクセス or ストライドアクセス ランダムアクセスすればOK __asm__volatile(“ movq (%%rax), %rax movq (%%rax), %rax movq (%%rax), %rax …"
- 56.
- 57.
- 58.
- 59.
- 60.
- 61. micbench A microbenchmarking toolset forLinux only ;)
- 62. micbench A microbenchmarking toolset forLinux only ;)
- 63. micbench live on AWSEC2 $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 64. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません
- 65. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: Last login: Sat Feb 1 03:27:02 2014 from 35.69.30.125.dy.iij4u.or.jp __| __|_ ) _| ( / ___|___|___| Amazon Linux AMI https://aws.amazon.com/amazon-linux-ami/2013.09-release-notes/ $
- 66. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: Last login: Sat Feb 1 03:27:02 2014 from 35.69.30.125.dy.iij4u.or.jp __| __|_ ) _| ( / ___|___|___| Amazon Linux AMI https://aws.amazon.com/amazon-linux-ami/2013.09-release-notes/ $ micbench mem -h
- 67. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: Last login: Sat Feb 1 03:27:02 2014 from 35.69.30.125.dy.iij4u.or.jp __| __|_ ) _| ( / ___|___|___| Amazon Linux AMI https://aws.amazon.com/amazon-linux-ami/2013.09-release-notes/ $ micbench mem -h Usage: micbench mem [options] -h, --help -m, --multi NUM -t, --timeout NUM -S, --seq -R, --rand -L, --local sharing one region) -a, --affinity AFFINITY -s, --size SIZE -H, --hugetlbfile PATH -z, --hugepagesize SIZE -v, --verbose --debug Show help Multiplicity of memory access (default: ) Running time of memory access test (in sec) (default: sec) Sequential memory access mode (default mode) Random memory access mode (default: sequential access mode) Allocate separated memory region for each thread (default: CPU and memory utilization policy Size of memory region (default: 1MB) Use HugePages if specified. Give a path to file on hugetlbfs. Size of HugePage (default: 2MB)
- 68. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません
- 69. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ cd /sys/devices/system/cpu/cpu0/cache
- 70. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ cd /sys/devices/system/cpu/cpu0/cache $ echo `cat index0/level` `cat index0/type` `cat index0/size` 1 Data 32K $ echo `cat index1/level` `cat index1/type` `cat index1/size` 1 Instruction 32K $ echo `cat index2/level` `cat index2/type` `cat index2/size` 2 Unified 256K $ echo `cat index3/level` `cat index3/type` `cat index3/size` 3 Unified 20480K
- 71. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません
- 72. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16K --affinity 0:c0 --timeout 10
- 73. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16K --affinity 0:c0 --timeout 10 loop end: t=10.000098 access_pattern random multiplicity 1 local false page_size 4096 size 32768 use_hugepages false total_ops 2172125184 total_clk 17885453816 exec_time 10.000098 ops_per_sec 2.172104e+08 clk_per_op 8.234081e+00 total_exec_time 11.881029
- 74. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16K --affinity 0:c0 --timeout 10 loop end: t=10.000098 access_pattern random multiplicity 1 local false page_size 4096 size 32768 use_hugepages false total_ops 2172125184 total_clk 17885453816 exec_time 10.000098 ops_per_sec 2.172104e+08 clk_per_op 8.234081e+00 total_exec_time 11.881029 L1D cache アクセスレイテンシ 8.23クロック （ 5%） (Wikipedia調べ：3クロック)
- 75. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません
- 76. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 128K --affinity 0:c0 --timeout 10
- 77. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 128K --affinity 0:c0 --timeout 10 loop end: t=10.022191 access_pattern random multiplicity 1 local false page_size 4096 size 131072 use_hugepages false total_ops 729284608 total_clk 17940879364 exec_time 10.022191 ops_per_sec 7.276698e+07 clk_per_op 2.460066e+01 total_exec_time 10.047088
- 78. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 128K --affinity 0:c0 --timeout 10 loop end: t=10.022191 access_pattern random multiplicity 1 local false page_size 4096 size 131072 use_hugepages false total_ops 729284608 total_clk 17940879364 exec_time 10.022191 ops_per_sec 7.276698e+07 clk_per_op 2.460066e+01 total_exec_time 10.047088 L2D cache アクセスレイテンシ 24.6クロック （ 5%） (Wikipedia調べ：8クロック)
- 79. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません
- 80. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16MB --affinity 0:c0 --timeout 10
- 81. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16MB --affinity 0:c0 --timeout 10 loop end: t=10.017083 access_pattern random multiplicity 1 local false page_size 4096 size 16777216 use_hugepages false total_ops 40370176 total_clk 17984571328 exec_time 10.017083 ops_per_sec 4.030133e+06 clk_per_op 4.454915e+02 total_exec_time 10.293443
- 82. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16MB --affinity 0:c0 --timeout 10 loop end: t=10.017083 access_pattern random multiplicity 1 local false page_size 4096 size 16777216 use_hugepages false total_ops 40370176 total_clk 17984571328 exec_time 10.017083 ops_per_sec 4.030133e+06 clk_per_op 4.454915e+02 total_exec_time 10.293443 L3 shared アクセスレイテンシ 445クロック
- 83. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません
- 84. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 256MB --affinity 0:c0 --timeout 10
- 85. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 256MB --affinity 0:c0 --timeout 10 loop end: t=10.025490 access_pattern random multiplicity 1 local false page_size 4096 size 268435456 use_hugepages false total_ops 31719424 total_clk 18000368292 exec_time 10.025490 ops_per_sec 3.163878e+06 clk_per_op 5.674872e+02 total_exec_time 16.503597
- 86. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14'spassword: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 256MB --affinity 0:c0 --timeout 10 loop end: t=10.025490 access_pattern random multiplicity 1 local false page_size 4096 size 268435456 use_hugepages false total_ops 31719424 total_clk 18000368292 exec_time 10.025490 ops_per_sec 3.163878e+06 clk_per_op 5.674872e+02 total_exec_time 16.503597 主記憶アクセスレイテンシ 567クロック
- 87.
- 88.
- 89.
- 90.
- 91.
- 92.
- 93.
- 94.
- 95. micbench A microbenchmarking toolset $micbench -h ! Usage: micbench command [options] ! available commands: help : 'help command' explains about command io : IO benchmark on block devices and files lock : lock and sync. cost benchmark mem : memory latency and bandwidth benchmark
- 96. micbench A microbenchmarking toolset $micbench -h ! Usage: micbench command [options] ! available commands: help : 'help command' explains about command io : IO benchmark on block devices and files lock : lock and sync. cost benchmark mem : memory latency and bandwidth benchmark
- 97. モニタリングツール • sysstat (mpstat /iostat) (…) ! avg-cpu: %user 0.00 %nice %system %iowait 0.00 1.00 99.00 %steal 0.00 %idle 0.00 ! Device: xvdap1 xvdap3 xvdf xvdg ! (…) tps 0.00 0.00 64.00 0.00 Blk_read/s 0.00 0.00 1024.00 0.00 Blk_wrtn/s 0.00 0.00 0.00 0.00 Blk_read 0 0 1024 0 Blk_wrtn 0 0 0 0
- 98. モニタリングツール • sysstat (mpstat /iostat) (…) ! avg-cpu: %user 0.00 %nice %system %iowait 0.00 1.00 99.00 ! Device: xvdap1 xvdap3 xvdf xvdg ! (…) tps 0.00 0.00 64.00 0.00 a d a e Blk_read/s 0.00 0.00 1024.00 0.00 r t o N ! le b %steal 0.00 Blk_wrtn/s 0.00 0.00 0.00 0.00 %idle 0.00 Blk_read 0 0 1024 0 Blk_wrtn 0 0 0 0
- 99. モニタリングツール • sysstat (mpstat /iostat) (…) ! avg-cpu: %user 0.00 %nice %system %iowait 0.00 1.00 99.00 ! Device: xvdap1 xvdap3 xvdf xvdg tps 0.00 0.00 64.00 0.00 a d a e Blk_read/s 0.00 0.00 1024.00 0.00 r t o N ! le b %steal 0.00 Blk_wrtn/s 0.00 0.00 0.00 0.00 %idle 0.00 Blk_read 0 0 1024 0 Blk_wrtn 0 0 0 0 ! (…) • プログラムから集計するのが面倒なフォーマット
- 100. モニタリングツール • sysstat (mpstat /iostat) (…) ! avg-cpu: ! Device: xvdap1 xvdap3 xvdf xvdg ! (…) %user 0.00 %nice %system %iowait 0.00 1.00 99.00 Not tps 0.00 0.00 64.00 0.00 real %steal 0.00 Blk_read/s 0.00 0.00 1024.00 0.00 %idle 0.00 time Blk_wrtn/s 0.00 0.00 0.00 0.00 Blk_read 0 0 1024 0 Blk_wrtn 0 0 0 0
- 101. モニタリングツール • sysstat (mpstat /iostat) (…) ! avg-cpu: ! Device: xvdap1 xvdap3 xvdf xvdg %user 0.00 %nice %system %iowait 0.00 1.00 99.00 Not tps 0.00 0.00 64.00 0.00 real %steal 0.00 Blk_read/s 0.00 0.00 1024.00 0.00 %idle 0.00 time Blk_wrtn/s 0.00 0.00 0.00 0.00 Blk_read 0 0 1024 0 ! (…) • 最短で1秒間隔でしかモニタリングできない Blk_wrtn 0 0 0 0
- 102. PerfMonger Yet another systemperformance monitoring & visualizing tool
- 103. PerfMonger live on AWSEC2 $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 104. PerfMonger live on AWSEC2 $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ perfmonger record {"time": 1391233526.2996, "cpuinfo": {"nr_cpu": 1, "all": {"%usr": 0.00, "%nice": 0.00, "%sys": 0.00, "%iowait": 0.00, "%irq": 0.00, "%soft": 0.00, "%steal": 0.00, "%guest": 0.00, "%idle": 0.00}, "cpus": [{"%usr": 0.00, "%nice": 0.00, "%sys": 0.00, "%iowait": 0.00, "%irq": 0.00, "%soft": 0.00, "%steal": 0.00, "%guest": 0.00, "%idle": 100.00}]}, "ioinfo": {"devices": ["xvda1", "xvda3", "xvdf", "xvdg"], "xvda1": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "xvda3": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "xvdf": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "xvdg": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "total": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000}}}
- 105. PerfMonger live on AWSEC2 ※現在はアクセスできません http://54.201.1.14:20202/dashboard
- 106.