Download as PDF, PPTX
![15
最適化手法を学ぶには
「インテル ® 64 アーキテクチャー および IA-32 アーキ
テクチャー 最適化リフ レンス マニュアル」 [0][1] を読め
（完）](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-15-2048.jpg)
![16
最適化手法を学ぶには
「インテル ® 64 アーキテクチャー および IA-32 アーキ
テクチャー 最適化リフ レンス マニュアル」 [0][1] を読め
（完）
PDF ファイルをインテルの公式サイトからダウンロード
できます
日本語訳もあるけどちょっと古い
700 ページ以上の超大作](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-16-2048.jpg)
![24
局所的でないメモリアクセスを避ける
局所的でないメモリアクセスをすると、アクセスする
データがキャッシュに乗っている確率が低くなる
例 ) 行列積
for (int i = 0; i < ROWS; ++i)
for (int j = 0; j < COLS; ++j)
for (int k = 0; k < LEN; ++k)
C[i][j] += A[i][k] * B[k][j];
二次元配列 B に ROWS 要素飛びでアクセスしている](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-24-2048.jpg)
![25
局所的でないメモリアクセスを避ける
局所的でないメモリアクセスをすると、アクセスする
データがキャッシュに乗っている確率が低くなる
例 ) 行列積
for (int i = 0; i < ROWS; ++i)
for (int k = 0; k < LEN; ++k)
for (int j = 0; j < COLS; ++j)
C[i][j] += A[i][k] * B[k][j];
全ての配列に順番にアクセスするようになった
入れ替えた](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-25-2048.jpg)
![27
データ構造を SoA に
例
struct data {
int a, b, c;
double x, y, z;
} d_ary[SIZE]; // AoS
int a[SIZE], b[SIZE], c[SIZE];
double x[SIZE], y[SIZE], z[SIZE]; //SoA](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-27-2048.jpg)
![30
ストリップマイニング
以下のコードを考える
for (int i = 0; i < SIZE; ++i) {
hoge(A[i]);
}
for (int i = 0; i < SIZE; ++i) {
fuga(A[i]);
}
配列 A が十分長いとき、最初のループが終わった時点で、
A の先頭はキャッシュから排出されている](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-30-2048.jpg)
![32
ストリップマイニング
for (int i = 0; i < SIZE; i += strip_size) {
for (int j = i; j < min(SIZE, i+strip_size); ++j) {
hoge(A[j]);
}
for (int j = i; j < min(SIZE, i+strip_size); ++j) {
fuga(A[j]);
}
}](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-32-2048.jpg)
![33
ブロック化
次のコードを考える
for (int i = 0; i < SIZE; ++i) {
for (int j = 0; j < SIZE; ++j) {
A[i][j] += B[j][i];
}
}
B には飛び飛びのアクセスをしているので SIZE が大きい
と毎回キャッシュミスが発生して効率が悪い](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-33-2048.jpg)
![36
ブロック化
for (int i = 0; i < SIZE; i+=block_size) {
for (int j = 0; j < SIZE; j+=block_size) {
for (int ii = i; ii < i+block_size; ++ii) {
for(int jj = j; jj < j+block_size; ++jj) {
A[ii][jj] += B[jj][ii];
}
}
}
}](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-36-2048.jpg)
![62
複数のビットから成るデータの配列の
ハミング距離を求める
例えば、 2 ビットから成るデータの配列のハミング距離
を求めるとき、
for (int i = 0; i < ARY_SIZE; ++i) {
uint8_t C = A[i] ^ B[i]; //8 ビットの場合
C = ((C & 0xAA) >> 1) | (C & 0x55);
result += popcount(C);
}](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-62-2048.jpg)
![92
SIMD 命令とは
A[0] A[1] A[2] A[3]
B[0] B[1] B[2] B[3]
A[0]+B[0] A[1]+B[1] A[2]+B[2] A[3]+B[3]
＋
256ビット](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-92-2048.jpg)
![103
メモリアラインメント 静的確保
alignas(32) uint64_t ary[SIZE];
ary の先頭は 32 バイト境界に合わせられる](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-103-2048.jpg)
![108
マスクによる条件分岐の除去
例 )
for (int i = 0; i < SIZE; ++i) {
if (a[i] > b[i]) {
c[i] += a[i];
}
}
条件分岐が入っているのでこのままでは並列に足し算で
きない](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-108-2048.jpg)
![118
参考文献等
[0] インテル ® 64 アーキテクチャーおよび IA-32 アーキテク
チャー最適化リファレンス・マニュアル
http://www.intel.co.jp/content/dam/www/public/ijkk/jp/ja/do
cuments/developer/248966-024JA.pdf
[1] 英語の最新版
http://www.intel.co.jp/content/dam/www/public/us/en/docum
ents/manuals/64-ia-32-architectures-optimization-manual.pdf
[2] Intel Intrinsics Guide
https://software.intel.com/sites/landingpage/Intrin
sicsGuide/](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-118-2048.jpg)
![119
参考文献等
[3] Intel® Architecture Instruction Set Extensions
Programming Reference
https://software.intel.com/sites/default/files/managed/0d/53/
319433-022.pdf
[4] Intel® 64 and IA-32 Architectures Software Developer’s
Manual
http://www.intel.co.jp/content/dam/www/public/us/en/docu
ments/manuals/64-ia-32-architectures-software-developer-
manual-325462.pdf
[5] CPU – Wikipedia
http://ja.wikipedia.org/wiki/CPU](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-119-2048.jpg)
![120
参考文献等
[6] Chess Programming Wiki
https://chessprogramming.wikispaces.com/](https://image.slidesharecdn.com/optimizationtechniqueswww-150315103212-conversion-gate01/75/slide-120-2048.jpg)
More Related Content
プログラムを高速化する話
- 1. プログラムを高速化する話 @KMC 春合宿 2015 KMC2回生 prime
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9. 9 最適化について 「細かい効率のことは忘れて、時間の 97% について考え よう。時期尚早な最適化は諸悪の根源だ。それでも残り 3%についても機会を逃すべきではない」 - Donald E. Knuth 「プログラム最適化の第一法則 : 最適化するな。 プログラム最適化の第二法則 ( 上級者限定 ): まだするな。 」 - Michael A. Jackson
- 10.
- 11. 11 最適化の対象 主に Intel のHaswell マイクロアーキテクチャ以降を対象 多くのテクニックは他のプロセッサにも応用できます ベース マイクロアーキテクチャ プロセスルール 登場年 Nehalem Nehalem 45nm 2008 〃 Westmere 32nm 2010 Sandy Bridge Sandy Bridge 32nm 2011 〃 Ivy Bridge 22nm 2012 Haswell Haswell 22nm 2013 〃 Broadwell 14nm 2014
- 12.
- 13. 13 Intel C/C++ Compiler Intel謹製の C/C++ コンパイラ 最適化能力が強いと言われている 学生なら非営利目的に限り無料で入手可能 Intel Parallel Studio XE についてくる 最新版は gcc 4.9 互換なので C++ の最新規格のサポートも ぼちぼち
- 14.
- 15. 15 最適化手法を学ぶには 「インテル ® 64アーキテクチャー および IA-32 アーキ テクチャー 最適化リフ レンス マニュアル」 [0][1] を読め （完）
- 16. 16 最適化手法を学ぶには 「インテル ® 64アーキテクチャー および IA-32 アーキ テクチャー 最適化リフ レンス マニュアル」 [0][1] を読め （完） PDF ファイルをインテルの公式サイトからダウンロード できます 日本語訳もあるけどちょっと古い 700 ページ以上の超大作
- 17. 17 用語の説明 CPU Central Processing Unitの略 コンピュータなどにおいて中心的な処理装置として働く電 子回路 (Wikipedia より ) レジスタ CPU の中にある計算等に用いる容量の小さな記憶装置
- 18.
- 19.
- 20.
- 21. 21 メモリアクセスの遅延 転送速度も足りない メモリ側は DDR4-4266 でも34.1GB/s CPU 側は最大で読み込み 64Bytes/cycle 、書き込み 32Bytes/cycle なので、 CPU の動作周波数が 3GHz なら、 読み込み 192GB/s 、書き込み 32Bytes/cycle 線形にアクセスする場合でも速度が足りない！
- 22. 22 キャッシュメモリの導入 メモリのうち、頻繁にアクセスする場所を高速でアクセ スできる場所に保持しておく 頻度に応じて複数段階のキャッシュが設けられる 最近では 1 次〜3 次までの 3 段階 4 次キャッシュを搭載したものもある
- 23.
- 24. 24 局所的でないメモリアクセスを避ける 局所的でないメモリアクセスをすると、アクセスする データがキャッシュに乗っている確率が低くなる 例 ) 行列積 for(int i = 0; i < ROWS; ++i) for (int j = 0; j < COLS; ++j) for (int k = 0; k < LEN; ++k) C[i][j] += A[i][k] * B[k][j]; 二次元配列 B に ROWS 要素飛びでアクセスしている
- 25. 25 局所的でないメモリアクセスを避ける 局所的でないメモリアクセスをすると、アクセスする データがキャッシュに乗っている確率が低くなる 例 ) 行列積 for(int i = 0; i < ROWS; ++i) for (int k = 0; k < LEN; ++k) for (int j = 0; j < COLS; ++j) C[i][j] += A[i][k] * B[k][j]; 全ての配列に順番にアクセスするようになった 入れ替えた
- 26. 26 データ構造を SoA に 大量のデータを順番に処理するとき、 AoS(Arrayof Structs; 構造体の配列 ) よりも、 SoA(Struct of Arrays; 配列の構造体 ) の方が高速に動作 する可能性がある
- 27. 27 データ構造を SoA に 例 structdata { int a, b, c; double x, y, z; } d_ary[SIZE]; // AoS int a[SIZE], b[SIZE], c[SIZE]; double x[SIZE], y[SIZE], z[SIZE]; //SoA
- 28. 28 データ構造を SoA に a0b0 c0 x0 y0 z0 a1 b1 c1 x1 y1 z1 a2 b2 c2 … SoAだと順番にaにアクセスすると6要素ごとになる AoSだと順番にaにアクセスすると 連続した領域にアクセスできる SIMD命令を使いやすくなる a0 a1 a2 … b0 b1 b2 … c0 c1 c2 … x0 x1 x2 … y0 y1 y2 … z0 z1 z2 …
- 29. 29 SoA のデメリットと対策 多数の要素を読み取って計算しなければならない場合、 キャッシュラインを使い尽くしてしまい、逆に遅くなる 場合もある SoA とAoS の適切なハイブリッド構造にすることが必要 頻繁に同時にアクセスする要素を一つの構造体に、など
- 30. 30 ストリップマイニング 以下のコードを考える for (int i= 0; i < SIZE; ++i) { hoge(A[i]); } for (int i = 0; i < SIZE; ++i) { fuga(A[i]); } 配列 A が十分長いとき、最初のループが終わった時点で、 A の先頭はキャッシュから排出されている
- 31. 31 ストリップマイニング したがって、 A は2 回メインメモリから読み込まれるこ とになり、効率が悪い 一方で、 hoge や fuga は SIMD 命令で並列に処理できる ものとする ここで、ループをキャッシュに乗るサイズに分割すると、 SIMD 命令を使いつつ、メインメモリへのアクセスを 1 回 に減らせる
- 32. 32 ストリップマイニング for (int i= 0; i < SIZE; i += strip_size) { for (int j = i; j < min(SIZE, i+strip_size); ++j) { hoge(A[j]); } for (int j = i; j < min(SIZE, i+strip_size); ++j) { fuga(A[j]); } }
- 33. 33 ブロック化 次のコードを考える for (int i= 0; i < SIZE; ++i) { for (int j = 0; j < SIZE; ++j) { A[i][j] += B[j][i]; } } B には飛び飛びのアクセスをしているので SIZE が大きい と毎回キャッシュミスが発生して効率が悪い
- 34.
- 35.
- 36. 36 ブロック化 for (int i= 0; i < SIZE; i+=block_size) { for (int j = 0; j < SIZE; j+=block_size) { for (int ii = i; ii < i+block_size; ++ii) { for(int jj = j; jj < j+block_size; ++jj) { A[ii][jj] += B[jj][ii]; } } } }
- 37.
- 38. 38 基礎知識 コンピュータ内部ではデータは 2 進数で管理されている 2進数リテラルは C++ では 0b のあとに続けて 0/1 を書く ことで記述できる 1 0 1 1 1 0 0 1 1バイト = 8ビット 0b10111001
- 39. 39 基礎知識 符号なし整数は単純に 2 進数で表される 1バイトなら 0 〜 255=2 -1⁸ 4 バイトなら 0 〜 4294967295=2³²-1 n バイトなら 0 〜 2^8n-1 0b10111001=185
- 40. 40 基礎知識 符号付き整数は一番上の桁が符号を表す ( 負の数なら1) n ビット符号付き整数は、正の数なら符号なしと同じ 負の数なら、 mod 2^n で同じになる正の数の 2 進数表記 0b10111001 を 1 バイト符号付き整数だとみなすと、 0b10111001+0b01000111=2⁸ なので、 0b10111001=-0b01000111=-71
- 41. 41 基礎知識 符号付き整数は一番上の桁が符号を表す ( 負の数なら1) n ビット符号付き整数は、正の数なら符号なしと同じ 負の数なら、 mod 2^n で同じになる正の数の 2 進数表記 1 バイトなら -128 〜 127 4 バイトなら -2147483648 〜 2147483647 n バイトなら -2^(n-1) 〜 2^(n-1)-1
- 42. 42 基礎知識 実数は 1.x×2^i の形の有理数に丸めて表現する 丸める精度に応じてバリエーションがある 単精度浮動小数型 4バイト、 2 進数で 23 桁の精度、 ±10^±38 程度まで表現 できる 倍精度浮動小数型 8 バイト、 2 進数で 53 桁の精度、 ±10^±308 程度まで表 現できる
- 43. 43 ビット演算 2 進数の 0/1の列を操作するような演算の総称 ビット論理和 ビット論理積 ビット排他的論理和 ビット否定 ビットシフト 加減乗算などがビット列を操作するのに使われることも 最近はビット列操作用の命令も追加されている
- 44. 44 ビット演算のメリット ビット演算自体が高速 回路が単純なので、多くのプロセッサで高速に動作する 一回の演算でビット幅分を一度に処理できるので高速 64bit なら 64個の 0/1 を一括で処理できる ビット単位にデータを詰めることで、メモリ使用量が減 り、キャッシュヒット率が向上する
- 45. 45 ビット配列 整数等の配列を 0/1 の配列として利用するテクニック 符号なし64bit 整数 (uint64_t) の配列が一番扱いやすい SIMD 命令とも相性がよく、高速化が期待できる
- 46. 46 基本的なビット演算 ビット論理和 OR (C言語 : |) 片方でも 1 ならば 1 、そうでないなら 0 0 0 1 0 1 1 0 0 1 0 1 1 1 0 0 1 1 0 1 1 1 1 0 1 A B A OR B
- 47. 47 基本的なビット演算 ビット論理積 AND (C言語 : &) 両方とも 1 ならば 1 、そうでないなら 0 0 0 1 0 1 1 0 0 1 0 1 1 1 0 0 1 0 0 1 0 1 0 0 0 A B A AND B
- 48. 48 基本的なビット演算 ビット排他的論理和 XOR (C言語 : ^) 片方だけ 1 ならば 1 、そうでないなら 0 0 0 1 0 1 1 0 0 1 0 1 1 1 0 0 1 1 0 0 1 0 1 0 1 A B A XOR B
- 49. 49 基本的なビット演算 ビット否定 NOT (C言語 : ~) 0/1 を反転する 0 1 0 0 0 1 1 0 1 0 1 1 1 0 0 1A NOT A
- 50. 50 基本的なビット演算 ビットシフト (C 言語: 左シフト <<, 右シフト >>) 0/1 列を右や左にシフトする 左シフトが上の桁の方にシフトする 1 1 1 0 0 1 0 0 1 0 1 1 1 0 0 1A A << 2 シフトしたときに詰める数字によっていくつかバリ エーションが存在する
- 51. 51 C 言語でのビット演算 // ビット演算は整数型に対してのみ使える A= B & C; A &= B; A = B << 4; // 下位ビットには 0 が詰められる A <<= 4; A = ~B; // 符号なし 64 ビットリテラルを扱うとき A = UINT64_C(0xCCCCCCCCCCCCCCCC);
- 52.
- 53. 53 特定のビットを操作する UINT64_C(1) << indexで index ビット目のみ立った数を 表せる //A の index ビット目を操作する A |= UINT64_C(1) << index; // ビットを立てる A &= ~(UINT64_C(1) << index); // ビットを下ろす A ^= UINT64_C(1) << index; // ビットを反転する result = (A >> index) & 1; // ビットの値を取得する
- 54. 54 マスク // 奇数ビット目をクリア // 0x5= 0b0101 A &= UINT64_C(0x5555555555555555); // 偶数ビットなら 0xAAA... = 0b1010... // 2 ビットごとに交互にクリアするなら 0xCCC...=0b11001100...
- 55.
- 56.
- 57. 57 立っているビットの数を数える (popcount) 1 0 11 1 0 0 1 1 1 1 0 1 1 1 0 A A&0xAA (A&0xAA) >> 1 0 1 0 1A&0x55 0 1 1 0 0 1 0 1((A&0xAA) >> 1) + (A&0x55) 2ビットごとの立っているビットの数の和
- 58. 58 立っているビットの数を数える (popcount) 0 1 10 0 1 0 1 0 1 0 1 0 1 0 1 A' A'&0xCC (A'&0xCC) >> 2 1 0 0 1A'&0x33 0 0 1 1 0 0 1 0 ((A'&0xCC) >> 2) + (A'&0x33) 4ビットごとの立っているビットの数の和
- 59. 59 立っているビットの数を数える (popcount) 0 0 11 0 0 1 0 0 0 1 1 0 0 1 1 A'' A''&0xF0 (A''&0xF0) >> 4 0 0 1 0A''&0x0F 0 0 0 0 0 1 0 1 ((A''&0xF0) >> 4) + (A''&0x0F) 8ビット全体の立っているビットの数の和
- 60. 60 ビット列のハミング距離を求める ハミング距離：同じ長さの配列の対応する位置にある、 異なった値を持つ要素の数 0 0 10 1 1 0 0 1 0 1 1 1 0 0 1A B Hamming(A, B) = 4 ≠ ≠ ≠ ≠ = = = =
- 61. 61 ビット列のハミング距離を求める // ビット列のハミング距離は XORの popcount で求まる Hamming(A, B) = popcount(A ^ B);
- 62. 62 複数のビットから成るデータの配列の ハミング距離を求める 例えば、 2 ビットから成るデータの配列のハミング距離 を求めるとき、 for(int i = 0; i < ARY_SIZE; ++i) { uint8_t C = A[i] ^ B[i]; //8 ビットの場合 C = ((C & 0xAA) >> 1) | (C & 0x55); result += popcount(C); }
- 63. 63 立っている一番下のビットを求める B = A& -A; 1 0 1 1 1 0 0 0A 0 1 0 0 1 0 0 0-A 0 0 0 0 1 0 0 0A & -A -A = ~A + 1であることを利用
- 64. 64 立っている一番下のビットを中心に操作 A & (A– 1); // 立っている一番下のビットをクリア A ^ -A; // 立っている一番下のビットより上の桁を 1 に A | -A; // さらに立っている一番下のビットも 1 に // 立っている一番下のビットより下の桁を 1 に A ^ (A – 1)
- 65. 65 立っているビット列を走査する // i &=i-1 で i の立っている一番下のビットをクリア for (uint64_t i = bits; i != 0; i &= i-1) { uint64_t rmb = i & -i; // 何らかの処理 } 立っているビットの数が少ない場合には、この方法でも 立っているビットの数を高速に数えられる
- 66. 66 立っている一番上のビットを求める 二分探索で求める 0 0 11 1 0 0 1A 0 0 1 1A&0xF0 != 0 立っている一番上のビットは上4桁にある
- 67. 67 立っている一番上のビットを求める 二分探索で求める 0 0 11B=A&0xF0 立っている一番上のビットは上から0,1,4,5桁目にはない B&0xCC 0 0 0 0 = 0
- 68. 68 立っている一番上のビットを求める 二分探索で求める 0 0 11C=B 立っている一番上のビットは上から0,2,4,6桁目にある C&0xAA 0 1 0 0 != 0
- 69. 69 立っている一番上のビットを求める // 8 ビットの場合 A= (A & 0xF0) ? (A & 0xF0) : A; A = (A & 0xCC) ? (A & 0xCC) : A; A = (A & 0xAA) ? (A & 0xAA) : A;
- 70. 70 ビット列の並びを反転する 上位ビットを下に、下位ビットを上に持ってくる 1 0 11 1 0 0 1A 1 0 0 1 1 1 0 1Aの反転
- 71. 71 ビット列の並びを反転する 分割統治法を用いる 1 0 11 1 0 0 1A 1 0 0 1 1 0 1 1(A>>4) | (A<<4)
- 72. 72 ビット列の並びを反転する 分割統治法を用いる 1 0 11 1 0 0 1A 1 0 0 1 1 0 1 1B=(A>>4) | (A<<4) 0 1 1 0 1 1 1 0 ((B&0xCC)>>2) | ((B&0x33)<<2)
- 73. 73 ビット列の並びを反転する 分割統治法を用いる 1 0 11 1 0 0 1A 1 0 0 1 1 0 1 1B=(A>>4) | (A<<4) 0 1 1 0 1 1 1 0C=((B&0xCC)>>2) | ((B&0x33)<<2) ((C&0xAA)>>1) | ((C&0x55)<<1) 1 0 0 1 1 1 0 1
- 74. 74 ビット列の並びを反転する 分割統治法を用いる 1 0 11 1 0 0 1A 1 0 0 1 1 1 0 1Aの反転
- 75. 75 ビット列を一部だけスワップする Delta Swap という手法 長さが等しく、重複のないビット列をスワップする ** * A B C * * * a b c * * * * この幅をdeltaとする 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 x mask ABCとabcをスワップする deltaとmaskを予め求めておく
- 76. 76 ビット列を一部だけスワップする Delta Swap という手法 長さが等しく、重複のないビット列をスワップする ** * A B C * * * a b c * * * * 0 0 0 0 0 0 0 0 0 P Q R 0 0 0 0 x b := (x ^ (x >> delta)) & mask P = A^a, Q = B^b, R = C^cとなる b
- 77. 77 ビット列を一部だけスワップする Delta Swap という手法 長さが等しく、重複のないビット列をスワップする ** * A B C * * * a b c * * * * 0 0 0 P Q R 0 0 0 P Q R 0 0 0 0 x ABCとabcが入れ替わった（他のビットは変化なし） c := b ^ (b << delta) c * * * a b c * * * A B C * * * *c ^ x
- 78. 78 ビット列の指定した場所を詰めて並べる 64bit 整数で 8x8の 2 次元データを表現するとする オセロやチェスなどの盤面の状態、など 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63
- 79. 79 ビット列の指定した場所を詰めて並べる 斜めの効きを調べたいときに下のようなビットを整列し て並べたい 14 17 21 26 28 4244 49 53 17 26 44 53 49 42 28 21 14
- 80. 80 ビット列の指定した場所を詰めて並べる delta swap などを使えば、一応実現可能だが、もっと高 速な方法が存在する 14 1721 26 28 42 44 49 53 17 26 44 53 49 42 28 21 14
- 81. 81 magic bitboard 実はビットの配置ごとに適切に選んだ整数 magicを掛け てやると 1 列に並ぶ magic bitboard として知られている 14 17 21 26 28 42 44 49 53 17 26 44 53 49 42 28 21 14 * magic ) >> some =(
- 82. 82 magic bitboard チェスのそれぞれの駒の効きの範囲に対する magic numberは既に知られている そうでないようなビット配置に対しては、自分で一々 magic number を求めなければならない あとで述べる pext 命令の追加により実質役割を終えた
- 83. 83 ビット演算関連の CPU 命令 bts,btr, btc, bt blsi, blsmsk, blsr, tzcnt lzcnt bzhi bextr pext pdep
- 84. 84 bts, btr, btc,bt 特定のビットを操作する命令 bts unsigned char _bittestandset( __int32* a, __int32 b); unsigned char _bittestandset64( __int64* a, __int64 b); 特定のビットを立て、立てる前のそのビットの状態を返す btr: ビットを下ろす btc: ビットを反転する bt: ビットを取得する
- 85. 85 blsi, blsmsk, blsr,tzcnt 立っている一番下のビット関連の操作をする命令 blsi: A & -A と同じ。立っている一番下のビットを求める blsmsk: A ^ -A と同じ。立っている一番下のビットより 上のビットを 1 にした数を求める blsr: A & (A-1) と同じ。立っている一番下のビットを 0 にした数を求める。 tzcnt: 立っている一番下のビットの桁数を求める
- 86. 86 lzcnt, bzhi lzcnt 立っている一番上のビットの上にある 0の数を数える bzhi src の下 n 桁を dest に代入する
- 87. 87 bextr bextr start, len を指定して図のような操作をした結果を返す 01 0 0 1 0 1 1 0 1 0 1 1 1 1 0 startlen 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 len
- 88. 88 pext mask で指定した位置にあるビットを下から詰めて並べる 1 01 1 1 0 1 1mask 0 1 0 1 0 0 1 1src 0 0 0 0 1 0 1 1結果
- 89. 89 pdep mask で指定した位置にビットを入れていく pext のだいたい逆の操作ができる 10 1 1 1 0 1 1mask 0 1 0 1 0 0 1 1src 0 0 1 0 0 0 1 1結果
- 90. 90 SIMD 命令による最適化 SIMD 命令とは SIMD命令が使える場合 SIMD 命令の使い方 SIMD プログラミングにおけるポイント メモリアラインメント マスクによる条件分岐の除去 その他 SIMD 命令で可能なこと AVX-512 について
- 91. 91 SIMD 命令とは SIMD(Single InstructionMultiple Data の略 ) 一つの命令で複数のデータを処理する AVX 命令セットでは一度に 256bit(32Bytes) のデータを 一括で処理できる 単精度浮動小数 x8 倍精度浮動小数 x4 1/2/4/8Bytes 整数 x32/16/8/4
- 92. 92 SIMD 命令とは A[0] A[1]A[2] A[3] B[0] B[1] B[2] B[3] A[0]+B[0] A[1]+B[1] A[2]+B[2] A[3]+B[3] ＋ 256ビット
- 93.
- 94. 94 SIMD 命令の使い方 ●既に最適化されたライブラリを使う (割愛 ) ●自動ベクトル化の機能のあるコンパイラでコンパイル ●AVX の C++ ベクトルクラス ●SIMD 組み込み関数の利用 ●アセンブリ言語
- 95. 95 自動ベクトル化 コンパイラによっては適切なコンパイルオプションを指 定することによって、演算を SIMD 命令に変換してくれる iccなら -xAVX を指定すると AVX 命令を使ってくれる しかし、どんな場合も SIMD 命令に変換してくれるわけで はない そのときは、残り 3 通りのいずれかの方法を用いる
- 96. 96 AVX の C++ベクトルクラス F64vec4/F32vec8 といったクラスが用意されている いい感じに算術演算子と添字演算子がオーバーロードさ れている
- 97. 97 SIMD 組み込み関数の利用 #include “immintrin.h”で使えるようになる 単精度浮動小数 x8 型 __m256 倍精度浮動小数 x4 型 __m256d 整数 x4/8/16/32 型 __m256i __m256d resv = _mm256_add_pd(a, b); のように使う 今回は主に SIMD 組み込み関数を利用していきます
- 98.
- 99. 99 SIMD 組み込み関数の利用例 配列 Aの各要素に配列 B の対応する要素を加算した結果 を配列 C に格納する。 配列の長さは 4 の倍数、 A,B,C はすべて倍精度浮動小数型 for (int i = 0; i < SIZE/4; ++i) { __m256d va = _mm256_load_pd(A+4*i); __m256d vb = _mm256_load_pd(B+4*i); __m256d res = _mm256_add_pd(va, vb); _mm256_store_pd(C+4*i, res); }
- 100. 100 SIMD 組み込み関数の使い方の基本 メモリ上からデータを取ってくるには _mm256_load* メモリ上にデータを書き込むには_mm256_store* _mm256_( 動作 )_( 型 ) となっていることが多い 型には ps: 単精度浮動小数 x8 pd: 倍精度浮動小数 x4 epi8/16/13/64: 8/16/32/64 バイト整数 x32/16/8/4
- 101. 101 Intel Intrinsics Guide https://software.intel.com/sites/landingpage/Intrinsic sGuide/ SIMD組み込み関数を中心とした各種 CPU 命令の組み込 み関数のリファレンス 拡張の種類や命令のタイプで絞ったり検索したりできる 便利！！！
- 102. 102 SIMD プログラミングにおけるポイント データを 32バイトアラインメントに合わせる 合っていないと実行速度が低下する 同時にたくさんの処理が行える分、メモリアクセスが律 速になりやすい キャッシュを考慮したプログラミング ループ中に条件分岐があるとベクトル化できない マスクを有効活用するなどして条件分岐を除去する
- 103. 103 メモリアラインメント 静的確保 alignas(32) uint64_tary[SIZE]; ary の先頭は 32 バイト境界に合わせられる
- 104. 104 メモリアラインメント 動的確保 メモリを動的確保する場合は __alignasは使えない void *_mm_malloc(size_t size, size_t align); size バイトの領域を確保。返されるポインタのアドレス は align の倍数になる _mm_malloc で確保したメモリは _mm_free で開放する 他にも posix_memalign/aligned_alloc を使う方法や std::align を使う方法もある
- 105. 105 マスクによる条件分岐の除去 __m256i _mm256_cmpeq_epi8(__m256i, __m256i); 各バイトを比較して等しいならFF 、異なるなら 00 を各 バイトに入れて返す eq （等しい） /gt （大きい）、 epi8/16/32/64 （ 1/2/4/8 バイト）のバリエーションが存 在する
- 106. 106 マスクによる条件分岐の除去 等しくないなら〜〜の場合は eq のビットを反転させれば 良い ＜＞≦≧の4 種類の不等号もビットを反転させたり左右 を入れ替えたりすれば実現可能 浮動小数点型の場合は組み込み関数にどのような比較を するかを指定して渡せる
- 107. 107 マスクによる条件分岐の除去 SIMD 比較命令によりマスクを作る 演算対象と ANDをとったりして正しい結果が得られるよ うにする
- 108. 108 マスクによる条件分岐の除去 例 ) for (inti = 0; i < SIZE; ++i) { if (a[i] > b[i]) { c[i] += a[i]; } } 条件分岐が入っているのでこのままでは並列に足し算で きない
- 109. 109 マスクによる条件分岐の除去 例 ) for (inti = 0; i < SIZE/32; ++i) { __m256i va = _mm256_load_si256((__m256i*)(A+32*i)); __m256i vb = _mm256_load_si256((__m256i*)(B+32*i)); __m256i mask = _mm256_cmpgt_epi8(va, vb); va = _mm256_and_si256(va, mask); __m256i vc = _mm256_load_si256((__m256i*)(C+32*i)); vc = _mm256_add_epi8(vc, va); _mm256_store_si256((__m256i*)(C+32*i), vc); }
- 110. 110 マスクによる条件分岐の除去 例 ) for (inti = 0; i < SIZE/32; ++i) { __m256i va = _mm256_load_si256((__m256i*)(A+32*i)); __m256i vb = _mm256_load_si256((__m256i*)(B+32*i)); __m256i mask = _mm256_cmpgt_epi8(va, vb); va = _mm256_and_si256(va, mask); __m256i vc = _mm256_load_si256((__m256i*)(C+32*i)); vc = _mm256_add_epi8(vc, va); _mm256_store_si256((__m256i*)(C+32*i), vc); }
- 111. 111 マスクによる条件分岐の除去 例 ) for (inti = 0; i < SIZE/32; ++i) { __m256i va = _mm256_load_si256((__m256i*)(A+32*i)); __m256i vb = _mm256_load_si256((__m256i*)(B+32*i)); __m256i mask = _mm256_cmpgt_epi8(va, vb); va = _mm256_and_si256(va, mask); __m256i vc = _mm256_load_si256((__m256i*)(C+32*i)); vc = _mm256_add_epi8(vc, va); _mm256_store_si256((__m256i*)(C+32*i), vc); }
- 112. 112 マスクによる条件分岐の除去 例 ) for (inti = 0; i < SIZE/32; ++i) { __m256i va = _mm256_load_si256((__m256i*)(A+32*i)); __m256i vb = _mm256_load_si256((__m256i*)(B+32*i)); __m256i mask = _mm256_cmpgt_epi8(va, vb); va = _mm256_and_si256(va, mask); __m256i vc = _mm256_load_si256((__m256i*)(C+32*i)); vc = _mm256_add_epi8(vc, va); _mm256_store_si256((__m256i*)(C+32*i), vc); }
- 113. 113 マスクによる条件分岐の除去 例 ) for (inti = 0; i < SIZE/32; ++i) { __m256i va = _mm256_load_si256((__m256i*)(A+32*i)); __m256i vb = _mm256_load_si256((__m256i*)(B+32*i)); __m256i mask = _mm256_cmpgt_epi8(va, vb); va = _mm256_and_si256(va, mask); __m256i vc = _mm256_load_si256((__m256i*)(C+32*i)); vc = _mm256_add_epi8(vc, va); _mm256_store_si256((__m256i*)(C+32*i), vc); }
- 114.
- 115. 115 AVX-512 について Broadwell の次のSkylake で Xeon( サーバー向けプロ セッサ ) に AVX-512 拡張命令が追加される予定 一度に 512 ビット扱えるだけでなく、ほぼすべての命令 にマスクを掛けることが出来るようになる 各種の便利命令がてんこ盛り Core i3/5/7 等には Skylake の次の Cannonlake で入る？
- 116.
- 117. 117 まとめ 今回は 3 つの最適化手法について解説した キャッシュを意識したプログラミング ビット演算 SIMD命令 いずれの手法も上手く使えれば数倍〜数十倍の高速化が 見込める
- 118. 118 参考文献等 [0] インテル ®64 アーキテクチャーおよび IA-32 アーキテク チャー最適化リファレンス・マニュアル http://www.intel.co.jp/content/dam/www/public/ijkk/jp/ja/do cuments/developer/248966-024JA.pdf [1] 英語の最新版 http://www.intel.co.jp/content/dam/www/public/us/en/docum ents/manuals/64-ia-32-architectures-optimization-manual.pdf [2] Intel Intrinsics Guide https://software.intel.com/sites/landingpage/Intrin sicsGuide/
- 119. 119 参考文献等 [3] Intel® ArchitectureInstruction Set Extensions Programming Reference https://software.intel.com/sites/default/files/managed/0d/53/ 319433-022.pdf [4] Intel® 64 and IA-32 Architectures Software Developer’s Manual http://www.intel.co.jp/content/dam/www/public/us/en/docu ments/manuals/64-ia-32-architectures-software-developer- manual-325462.pdf [5] CPU – Wikipedia http://ja.wikipedia.org/wiki/CPU
- 120. 120 参考文献等 [6] Chess ProgrammingWiki https://chessprogramming.wikispaces.com/