Recommended
More Related Content
What's hot
What's hot (20)
Similar to 計算機アーキテクチャを考慮した高能率画像処理プログラミング
Similar to 計算機アーキテクチャを考慮した高能率画像処理プログラミング (20)
More from Norishige Fukushima
More from Norishige Fukushima (15)
計算機アーキテクチャを考慮した高能率画像処理プログラミング
- 3. ムーアの法則に従って集積回路のトランジス タ数は年々倍増 背景（1/4） 3 40th Anniversary of the Microprocessor https://newsroom.intel.com/press-kits/40th-anniversary-of-the-microprocessor/ 2011年：Core i7 3960X vs Intel 4004 35万倍 1971年：Intel 4004 トランジスタ2300個
- 5. 現在のコンシューマ向け最上位 Intel Core i9 7980XEは2.6 GHz，18コア，512ビットベ クトル演算器，FMAユニット２つ搭載 –単純：2.6 GFLOPS –理想：3.0 TFLOPS （倍精度：1.5TFLOPS） • 2.6*18*16*2*2 • ターボブーストや増加したL2キャッシュ，SMTを活 用するとさらに性能向上 FLOPS(Floating-point Operations Per Second) –秒間浮動小数点演算を何回計算できるかの指標 背景（3/4） 5
- 6. 増えたトランジスタを有効に活用するプロ グラムを書かなければ，演算効率が高めら ない 「フリーランチの終焉」* 計算機アーキテクチャをより深く知り，そ れを活用したプログラミングが必須 背景（4/4） 6 *Sutter, Herb. "The free lunch is over: A fundamental turn toward concurrency in software." Dr. Dobb’s Journal 30.3 (2005): 202-210.
- 8. 年代 名称 1971 4004 … … 1993 Pentium 1997 Pentium II 1999 Pentium III 2000 Pentium 4 2005 Pentium D 2006 Core 2 2008.11 Core i7（第１世代，Nehalem） 2011.1 Core i7（第２世代，Sandy Bridge） 2012.4 Core i7（第３世代，Ivy Bridge） 2013.6 Core i7（第４世代，Haswell） 2014.9 Core i7（第５世代，Broadwell） 2015.8 Core i7（第６世代，Skylake） 2016.8 Core i7（第７世代，Kabylake） 2017.10 Core i7（第８世代，Coffelake） Intel CPUの歴史 8
- 9. クロック数 9 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 1990 1995 2000 2005 2010 2015 2020 クロック数[GHz] ターボ ブースト Core iシリーズ Pentium 4 Extreme Pentium Extreme (デュアルコア) Core 2 Extreme (クアッドコア) Pentium ハイパー スレッディング
- 10. コア数 10 0 2 4 6 8 10 12 14 16 18 20 1990 1995 2000 2005 2010 2015 2020 コア数
- 12. データのロード，ストア データの並び替え 四則演算，max/min，sqrt，比較，四捨五入， 切り上げ切り捨て，ビット演算など FMA（fused multiply-add) (2014) –掛け算と足し算ax+bを1命令で実行 ベクトルアドレッシング –gather (2014) –scatter (2017) • 離散データアクセスが高速化（光線空間の処理など） ベクトル演算の種類 12
- 13. 同時積和演算数（ベクトル演算）13 0 10 20 30 40 50 60 70 1990 1995 2000 2005 2010 2015 2020 同時積和演算数
- 14. FLOPS 14 0 500 1000 1500 2000 2500 3000 3500 1990 1995 2000 2005 2010 2015 2020 GFLOPS FLOPS＝周波数ｘ同時積和演算数ｘコア数
- 15. 名称 FLOPS ENIAC 300 300 FLOPS 地球シミュレータ１ 35.86 TFLOPS 地球シミュレータ２ 122.4 TFLOPS 京 10.51 PFLOPS PFN（プライベートスパコン） 4.7 PFLOPS 暁光 19.14 PFLOPS 神威・太湖之光 93.02 PFLOPS GPU: GeForce GTX 1080 8.872 TFLOPS FPGA: Stratix 10 10 TFLOPS CPU: Intel Core i9 7980XE 3.0 TFLOPS Xeon Platinum 8170 x8 CPU 28 TFLOPS FLOPS（参考） 15
- 16. ダイナミック・ランダム・アクセス・メモリ CPU –SDRAM→DDR SDRAM → DDR2 → DDR3 → DDR4 –Core i9 7980XE • DDR4 2666ｘクアッドチャネル： 85.3 GB/s –Xeon Platinum • DDR4 2666ｘオクタチャネル： 128 GB/s GPU –GDDR5：336 GB/ｓ（Taitan X） –GDDR5X：320GB/s （GTX 1080） –HBM2：720 GB/s （Tesla P100） DRAM 16
- 17. 周波数ｘデータ転送回数ｘバス幅ｘチャネル数 DDR4 2666クアッドチャネルの場合 –周波数：1333 MHz –データ転送回数： 2 (DDRはdual data rate) • （周波数ｘ転送回数が2666という数字） –バス幅：8バイト=64bit つまり 1333 x 2 x 8 x 4=85.3 GB/s メモリ帯域 17
- 18. メモリ帯域 18 0 10 20 30 40 50 60 70 80 90 1995 2000 2005 2010 2015 2020 GB/s バンド幅 [GB/S]
- 19. FLOPS vs float 転送レート 19 0 500 1000 1500 2000 2500 3000 3500 1990 1995 2000 2005 2010 2015 2020 GFLOPS,floatstore/s CPUの計算能力とメモリの転送レートの差は開くばかり
- 20. FLOPS vs float 転送レート（対数）20 0.01 0.1 1 10 100 1000 10000 1990 1995 2000 2005 2010 2015 2020 GFLOPS,floatstore/s ここまではメモリ が速かった (Pentium)
- 21. キャッシュが階層構造になるとメモリから のレイテンシが隠蔽可能 キャッシュ階層とレイテンシ 21 CPU メモリ L1 L2 L3 キャッシュ 容量小 大 アクセス速度速 遅 1-3 cycles <10 cycles >20 cycles >300 cycles
- 22. キャッシュ階層とレイテンシ 22 CPU L1 L2 1-3 cycles <10 cycles >20 cycles 10-20 cycles過去 現在 CPU Shared Large L2 CPU L1 L1 CPU CPU CPU CPU L1 L1 L1 L1 L2 L2 L2 L2 Shared Large L3 キャッシュの巨大化に伴いレイテンシが増え，L2キャッシュ を挟むように
- 23. ラストレベルキャッシュ 23 0 5 10 15 20 25 30 1990 1995 2000 2005 2010 2015 2020 LLCサイズ[MB] L1キャッシュ L2キャッシュ L3キャッシュ
- 27. 処理の依存関係 27 処理A 処理B 処理C 処理D Start End 処理に依存関係なし： 並列化で性能向上する 処理A 処理B 処理C 処理D Start End 処理に依存関係あり： 並列化で性能向上しない 依存関係 ただし依存関係のパターンによっては向上の可能性あり
- 28. 構造化並列プログラミング 原著 Structured Parallel Programming: Patterns for Efficient Computation Michael McCool (著), James Reinders (著), Arch Robison (著) 翻訳 構造化並列プログラミング―効率良い計算を行うためのパターン マイケル・マックール (著), 菅原 清文 (翻訳), エクセルソフト (翻訳) 並列化のデザインパターン 効率的に並列化するためのプログラミングパターン集 並列プログラムの形とパターンを示した教科書 28
- 29. 並列デザインパターン 29 Structured Parallel Processing p.21
- 41. リカーシブフィルタ，再帰処理 –移動平均のインテグラルイメージ –IIRフィルタ全般 • ガウシアン近似 • ラプラシアン近似 –コサインインテグラルによるガウシアン近似 –アクティブ探索（ヒストグラムの再帰） –FFTなどのバタフライ演算（過去，未来を使 用） • 行列積で書けばこのパタンではないがコスト大 スキャンの画像処理 41
- 49. リダクション処理（総和） 49 分割統治法 サブ画像の各総和を独立に に計算（マップ処理）して， 少数の結果をリダクション で総和すれば全画像の総和 ベクトル化はこのままでは 効率的にできない
- 52. 動画像処理 –複数の処理を分解してパイプライン化 –例えばカラー画像の閾値処理 • カラーをグレイに変換 • ソーベルフィルタ（横） • ソーベルフィルタ（縦） • エッジの閾値処理 –の４つの処理を１～４フレーム目でずらしなが ら実行する パイプラインの画像処理 52
- 56. 例：浮動小数点演算の加算 –１つの演算のために１２バイトのIO • ２つデータ（４バイト）読み込み • １つの演算 • 結果を１つ書き込み –B/F＝１２のマシンでなければ計算はメモリ待ち 現在の計算機： –スーパーコンピュータ京 • 64GB/s / 256 GFLOPS=0.25 B/F (float) –Core i9 7980XE • 85.31GB/s / 2995.2GFLOPS/=0.0228 B/F (float) 演算強度 56
- 57. ルーフラインモデル 57 演算強度 [flop/byte] パフォーマンス[GFLOPS] 10-3 10210110010-110-2 10-2 104 103 102 101 100 10-1 演算能力の理論上限 （1493.31GFLOPS） 28.56 天井はマシンの 理論演算能力 マシンの 理論演算強度 プログラムの演算強度 と実パフォーマンス 途中まではメモリの 帯域でバウンド メモリの転送が 間に合わない flopsとB/Fでプログラムを解析するモデル 由来：理論FLOPSで屋根の様に天井がクリップされるから
- 58. L1 4サイクル L2 12サイクル L3 36サイクル メモリ ＞100サイクル ※CPUはCore i7のHaswellの例 記憶素子のアクセス速度 58
- 59. ルーフラインモデル 59 演算強度 [flop/byte] パフォーマンス[GFLOPS] 10-3 10210110010-110-2 10-2 104 103 102 101 100 10-1 演算能力の理論上限 （1493.31GFLOPS） 28.56 プログラムを天井に近づけるように最適化 マシンの理論演算強度 プログラムの演算強度 と実パフォーマンス メモリ最適化 並列化 ベクトル化
- 60. ルーフラインモデル 60 メモリ最適化 演算強度 [flop/byte] パフォーマンス[GFLOPS] 10-3 10210110010-110-2 10-2 104 103 102 101 100 10-1 演算能力の理論上限 （1493.31GFLOPS） 28.560.50 1.26 9.57 プログラムを天井に近づけるように最適化 マシンの理論演算強度 各メモリ帯域の上限 高演算 強度処理 並列化 ベクトル化 並列化 ベクトル化 低演算 強度処理 メモリアクセスで バウンド 理論値まで 高速化
- 61. ルーフラインモデル 61 メモリ最適化 演算強度 [flop/byte] パフォーマンス[GFLOPS] 10-3 10210110010-110-2 10-2 104 103 102 101 100 10-1 演算能力の理論上限 （1493.31GFLOPS） 28.560.50 1.26 9.57 プログラムを天井に近づけるように最適化 マシンの理論演算強度 各メモリ帯域の上限 並列化 ベクトル化 低演算 強度処理 メモリアクセスで バウンド 中演算 強度処理 メモリ最適化 並列化 ベクトル化 パフォーマンスが下がる アルゴリズムに変更して でも演算強度を上げる
- 62. ルーフラインモデル 62 メモリ最適化 演算強度 [flop/byte] パフォーマンス[GFLOPS] 10-3 10210110010-110-2 10-2 104 103 102 101 100 10-1 演算能力の理論上限 （1493.31GFLOPS） 28.560.50 1.26 9.57 プログラムを天井に近づけるように最適化 マシンの理論演算強度 各メモリ帯域の上限 高演算 強度処理 並列化 ベクトル化 並列化 ベクトル化 低演算 強度処理 メモリアクセスで バウンド 理論値まで 高速化 中演算 強度処理 メモリ最適化 並列化 ベクトル化 パフォーマンスが下がる アルゴリズムに変更して でも演算強度を上げる
- 64. 複数のループをまとめて１つのループで処理 すること –ループカウントの回数が減る以上に メモリアクセスの総数が減ることで大幅に高速化 –ただしプログラムが煩雑になる 例： –カラー画像の閾値処理 • カラーをグレイに変換 • ソーベルフィルタ（横） • ソーベルフィルタ（縦） • エッジの閾値処理 画像を4回ループする ループヒュージョン 64 画素単位に色変換，３ｘ３ フィルタ，閾値処理をすれ ばループを１回で済む
- 66. 移動平均フィルタ 66
- 67. 移動平均フィルタ 67
- 69. セパラブルフィルタ 69
- 70. セパラブルフィルタ 70
- 71. セパラブルフィルタ 71
- 81. ドメイン固有言語 81
- 82. CPU –Intrinsics –OpenMP, Intel TBB –OpenCL GPU –Cuda –GLSL –OpenCL FPGA –OpenCL 並列化プログラミング環境 82 「それぞれアーキテクチャに合わせて コードを書かなければならず煩雑」 ※OpenCLはすべてのアーキテクチャで書けるが，最適な パフォーマンスを出すにはアーキテクチャに合わせてコー ドの書き方を変える必要がある
- 83. Domain Specific Language（DSL） 何かに特化した専用プログラミング言語 画像処理専用DSL –Halide (http://halide-lang.org/) –Darkroom (http://darkroom-lang.org/) –Forma (https://github.com/NVIDIA/Forma) –など，近年多数登場． ドメイン固有言語 83
- 84. 以下を定義する関数型プログラミング言語 – 何を計算するのか • アルゴリズム：Func – いつどこでどのように実行するのか • スケジュール：Schedule 特徴 – C++に組み込む形で使用 – SSE，AVX (x86)，NEON(ARM), Cuda, OpenCLに出力可能 – 画像処理プログラムを並列化・ベクトル化済みのコードとし て出力 – OpenCVのディープラーニング用のモジュールに搭載 C++などと違って，すべての演算を細かくすべて書く必 要がない – Forループを書かなくてよいCudaプログラムに近い Halide 84
- 86. アルゴリズムとスケジュール 86 Buffer<uint8_t> boxFilter3x3(Buffer<uint8_t>& src) { //変数宣言 Func in = BoundaryConditions::repeat_edge(src); Func src16, blurx, blury; Var x, y, c, xi, yi; //アルゴリズム記述部 src16(x,y,c) = cast<uint16_t>(in(x,y,c)); blurx(x, y, c) = (src16(x - 1, y, c) + src16(x, y, c) + src16(x + 1, y, c)) / 3; blury(x, y, c) = saturating_cast<uint8_t>((blurx(x, y - 1, c) + blurx(x, y, c) + blurx(x, y + 1, c)) / 3); //スケジュール記述部 blury.tile(x, y, xi, yi, 256, 32).vectorize(xi, 8).parallel(y); blurx.compute_at(blury, x).store_at(blury, x).vectorize(x, 8); Buffer<uint8_t> ret = blury.realize(src.width(), src.height(), src.channels()); return ret; }
- 88. レガシーなコード（アセンブリバイナリ） をHalideに自動変換 最新で最適なコードに再変換 http://projects.csail.mit.edu/helium/ Charith Mendis, Jeffrey Bosboom, Kevin Wu, Shoaib Kamil, Jonathan Ragan-Kelley, Sylvain Paris, Qin Zhao, Saman Amarasinghe, “Helium: Lifting High-Performance Stencil Kernels from Stripped x86 Binaries to Halide DSL Code,” in Proc. ACM SIGPLAN Conference on Programming Language Design and Implementation (PLDI), 2015. Helium 88
- 89. Halide公式チュートリアル –http://halide- lang.org/tutorials/tutorial_introduction.html Halideの日本語チュートリアル –Halide による画像処理プログラミング入門 • https://www.halide2fpga.com/halide_programming_tutorial/ その他リンク – https://qiita.com/fukushima1981/items/fa3537234e19ba ffc761 Halide入門用リンク 89
- 90. Jonathan Ragan-Kelley, Andrew Adams, Sylvain Paris, Marc Levoy, Saman Amarasinghe, Fredo Durand, “Decoupling Algorithms from Schedules for Easy Optimization of Image Processing Pipelines,” ACM Trans. on Graphics (SIGGRAPH), 2012. 「Halideの提案１」 Jonathan Ragan-Kelley, Connelly Barnes, Andrew Adams, Sylvain Paris, Fredo Durand, Saman Amarasinghe, “Halide: A Language and Compiler for Optimizing Parallelism, Locality, and Recomputation in Image Processing Pipelines,” Proc. PLDI 2013. 「Halideの提案２」 Jonathan Ragan-Kelley, “Decoupling Algorithms from the Organization of Computation for High Performance Image Processing: The design and implementation of the Halide language and compiler,” Ph.D. dissertation, MIT, May 2014. 「上をまとめた博士論文」 Gaurav Chaurasia, Jonathan Ragan-Kelley, Sylvain Paris, George Drettakis, Fredo Durand, “Compiling High Performance Recursive Filters,” Proc. High-Performance Graphics (HPG), Pages 85-94, 2015. 「Halideのリカーシブフィルタ機能」 Ravi Teja Mullapudi Andrew Adams, Dillon Sharlet, Jonathan Ragan-Kelley, Kayvon Fatahalian, “Automatically Scheduling Halide Image Processing Pipelines,” ACM Trans. on Graphics (SIGGRAPH), 2016. 「スケジューラの自動最適化」 Liming Lou, Paul Nguyen, Jason Lawrence, Connelly Barnes, “Image Perforation: Automatically Accelerating Image Pipelines by Intelligently Skipping Samples,” ACM Trans. on Graphics (SIGGRAPH), 2016. 「サブサンプリングベースの画像高速化のHalide実装」 Shih-Wei Liao, Sheng-Jun Tsai, Chieh-Hsun Yang , Chen-Kang Lo “Locality-aware scheduling for stencil code in Halide,”International Conference on Parallel Processing Workshops, 2016. 「ステンシル計算向けスケジューラ」 Felix Heide, Steven Diamond, Jonathan Ragan-Kelley, Matthias Niesner, Wolfgang Heidrich, Gordon Wetzstein, “ProxImaL: Efficient Image Optimization using Proximal Algorithms,” ACM Trans. on Graphics (SIGGRAPH), 2016. 「最適化アルゴリズムのためのDSL．Halideがベース」 Patricia Suriana, Andrew Adams, Shoaib Kamil, “Parallel Associative Reductions in Halide,” Proc. International Symposium on Code Generation and Optimization,2017 「リダクションの並列化」 Halide関連文献 90
- 91. 実例 91
- 92. 特徴 – 画像を読み込んで画素単位に何か演算をするマップ処理 – 演算強度が低い 比較対象 – メモリコピー • 並列演算，ベクトル演算で自前実装 – ax+b： • 乗算１回，加算１回（積和１回） – 指数計算 • 10次テイラー展開で計算コストを上げる（乗算18回，加算10回） 比較方法 – C++実装（並列化有り）とベクトル化・並列化の速度向上比 – メモリコピーとの速度比較 マップ処理 92
- 95. ルーフラインによる解析 95 演算強度 [flop/byte] パフォーマンス[GFLOPS] 10-3 10210110010-110-2 10-2 104 103 102 101 100 10-1 画像サイズが小さいとき 並列化 ベクトル化
- 96. ルーフラインによる解析 96 演算強度 [flop/byte] パフォーマンス[GFLOPS] 10-3 10210110010-110-2 10-2 104 103 102 101 100 10-1 画像サイズが大きいとき：メモリでバウンド 並列化 ベクトル化
- 98. バイラテラルフィルタ – 代表的なエッジ保存平滑化フィルタ – 注目画素との距離と色の差で重みを決定するFIRフィルタ ステンシル処理結果 98 空間ガウス 色ガウス
- 99. J，I：出力画像，入力画像 width：画像の横幅，height：画像の縦幅， rj：フィルタカーネルの縦幅,ri：フィルタカーネルの横幅 ss：空間ガウスシグマ，sr：レンジガウスシグマ For(j=0; j<height; j++) For(i=0; i<width; i++) For(kj=-rj; kj<rj; kj++) For(ki=-ri; ki<ri; ki++) J[j][i]=exp((kj+ji)2/-2ss) exp((I[j+kj][i+ki]- I[j][i])2/-2sr) I[j+kj][i+ki]; FIRフィルタのベクトル化 99
- 100. For(j=0; j<height; j++) For(i=0; i<width; i+=4) For(kj=-rj; kj<rj; kj++) For(ki=-ri; ki<ri; ki++) J[j][i+0]=exp((kj+ji)2/-2ss) exp((I[j+kj][i+ki+0]- I[j][i+0])2/-2sr) I[j+kj][i+ki+0]; J[j][i+1]=exp((kj+ji)2/-2ss) exp((I[j+kj][i+ki+1]- I[j][i+1])2/-2sr) I[j+kj][i+ki+1]; J[j][i+2]=exp((kj+ji)2/-2ss) exp((I[j+kj][i+ki+2]- I[j][i+2])2/-2sr) I[j+kj][i+ki+2]; J[j][i+3]=exp((kj+ji)2/-2ss) exp((I[j+kj][i+ki+3]- I[j][i+3])2/-2sr) I[j+kj][i+ki+3]; FIRフィルタのベクトル化 100 画素操作のｘ座標をループアンローリングしてベクトル長４でベクトル化 同時 計算
- 102. For(j=0; j<height; j++) For(i=0; i<width; i+=4) For(kj=-rj; kj<rj; kj++) For(ki=-ri; ki<ri; ki++) J[j][i+0]=EXP(|kj+ji|) exp((I[j+kj][i+ki+0]- I[j][i+0])2/-2sr) I[j+kj][i+ki+0]; J[j][i+1]=EXP(|kj+ji|) exp((I[j+kj][i+ki+1]- I[j][i+1])2/-2sr) I[j+kj][i+ki+1]; J[j][i+2]=EXP(|kj+ji|) exp((I[j+kj][i+ki+2]- I[j][i+2])2/-2sr) I[j+kj][i+ki+2]; J[j][i+3]=EXP(|kj+ji|) exp((I[j+kj][i+ki+3]- I[j][i+3])2/-2sr) I[j+kj][i+ki+3]; テーブル参照とベクトル化 102 空間ガウスをテーブル化．スカラで位置の絶対値を計算しテーブル引き後，ベ クトルに単一の値を代入 空間ガウスはカーネルの位置kj,kiだけに依存し，通常画像よりも大きくない 画素位置ごとのテーブルが計算自体いらない 同時 計算
- 103. For(j=0; j<height; j++) For(i=0; i<width; i+=4) For(kj=-rj; kj<rj; kj++) For(ki=-ri; ki<ri; ki++) J[j][i+0]=GS[kj][ji]exp((I[j+kj][i+ki+0]- I[j][i+0])2/-2sr) I[j+kj][i+ki+0]; J[j][i+1]=GS[kj][ji]exp((I[j+kj][i+ki+1]- I[j][i+1])2/-2sr) I[j+kj][i+ki+1]; J[j][i+2]=GS[kj][ji]exp((I[j+kj][i+ki+2]- I[j][i+2])2/-2sr) I[j+kj][i+ki+2]; J[j][i+3]=GS[kj][ji]exp((I[j+kj][i+ki+3]- I[j][i+3])2/-2sr) I[j+kj][i+ki+3]; テーブル参照とベクトル化 103 テーブル引きした同一 の値を入れるだけ 画素の差分とexp計算
- 104. For(j=0; j<height; j++) For(i=0; i<width; i+=4) For(kj=-rj; kj<rj; kj++) For(ki=-ri; ki<ri; ki++) J[j][i+0]=GS[kj][ji]exp((D[j+kj][i+ki+0])2/-2sr) I[j+kj][i+ki+0]; J[j][i+1]=GS[kj][ji]exp((D[j+kj][i+ki+1])2/-2sr) I[j+kj][i+ki+1]; J[j][i+2]=GS[kj][ji]exp((D[j+kj][i+ki+2])2/-2sr) I[j+kj][i+ki+2]; J[j][i+3]=GS[kj][ji]exp((D[j+kj][i+ki+3])2/-2sr) I[j+kj][i+ki+3]; テーブル参照とベクトル化 104 テーブル引きした同一 の値を入れるだけ 差分をDとして表現 差分自体はベクトル計算可能
- 105. For(j=0; j<height; j++) For(i=0; i<width; i+=4) For(kj=-rj; kj<rj; kj++) For(ki=-ri; ki<ri; ki++) J[j][i+0]=GS[kj][ji]EXP(|D[j+kj][i+ki+0]|) I[j+kj][i+ki+0]; J[j][i+1]=GS[kj][ji]EXP(|D[j+kj][i+ki+1]|) I[j+kj][i+ki+1]; J[j][i+2]=GS[kj][ji]EXP(|D[j+kj][i+ki+2]|) I[j+kj][i+ki+2]; J[j][i+3]=GS[kj][ji]EXP(|D[j+kj][i+ki+3]|) I[j+kj][i+ki+3]; テーブル参照とベクトル化 105 テーブル引きした同一 の値を入れるだけ 差分の絶対値でテーブル参照
- 107. For(j=0; j<height; j++) For(i=0; i<width; i+=4) For(kj=-rj; kj<rj; kj++) For(ki=-ri; ki<ri; ki++) J[j][i+0]=GS[kj][ji]EXP(|DR1|) EXP(|DG1|) EXP(|DB1|) I[j+kj][i+ki+0]; J[j][i+1]=GS[kj][ji]EXP(|DR2|) EXP(|DG2|) EXP(|DB2|) I[j+kj][i+ki+1]; J[j][i+2]=GS[kj][ji]EXP(|DR3|) EXP(|DG3|) EXP(|DB3|) I[j+kj][i+ki+2]; J[j][i+3]=GS[kj][ji]EXP(|DR4|) EXP(|DG4|) EXP(|DB4|) I[j+kj][i+ki+3]; テーブル参照とベクトル化（カラーの場合）107 テーブル引きした同一 の値を入れるだけ 差分の絶対値でテーブル参照３回 必要 カラーのdiffはDR１～４， DG１ ～４，DB１～４と省略して記述
- 108. For(j=0; j<height; j++) For(i=0; i<width; i+=4) For(kj=-rj; kj<rj; kj++) For(ki=-ri; ki<ri; ki++) J[j][i+0]=GS[kj][ji]EXP(|DRGB1|) I[j+kj][i+ki+0]; J[j][i+1]=GS[kj][ji]EXP(|DRGB2|) I[j+kj][i+ki+1]; J[j][i+2]=GS[kj][ji]EXP(|DRGB3|) I[j+kj][i+ki+2]; J[j][i+3]=GS[kj][ji]EXP(|DRGB4|) I[j+kj][i+ki+3]; テーブル参照とベクトル化（カラーの場合）108 テーブル引きした同一 の値を入れるだけ L2ノルムの量子化値の絶対値でテーブル参照1回 DRGB=round( 𝑅2 + 𝐺2 + 𝐵2) ルートの計算はベクトル演算可能 diffはDRGB１～４と省略して記述
- 109. 並列化のみ –omp 並列化とベクトル化 –math:指数計算をベクトル演算で実装 –lut3set:RGBのLUTをそれぞれset x3 –lut3gather:RGBのLUTをそれぞれgather x3 –lutset:RGBのLUTを量子化してset x1 –lutgather:RGBのLUTを量子化してgather x1 実験条件 109
- 110. バイラテラルフィルタの結果 110
- 116. まとめ 116
- 118. メモ 118
- 123. 省電力 – Atom 廉価 – Core i3, Pentium, Celeron – ターボブースト無， – ハイパースレッディングあっ たりなかったり – コア数が少ない ミドル – Core i5 – ターボブースト有， – ハイパースレッディング無し 上位 – Core i7 – ターボブースト有， – ハイパースレッディング有り – コア数多い 最上位 – Core i7/9 X – 名前にエキストリームがつい ている – Core i7の最上位スペック – メモリバンド幅が2倍 Intel CPUの種別 123
- 124. キャッシュ階層とレイテンシ 124 CPU L1 L2 1-3 cycles <10 cycles >20 cycles 10-20 cycles過去 現在 CPU Shared Large L2CPU L1 L1 CPU CPU CPU CPU L1 L1 L1 L1 L2 L2 L2 L2 Shared Large L3 Main Memory Main Memory Main Memory >300 cycles 容量小 大 アクセス速度速 遅
- 125. ステンシルのベクトル化 125 Load Pixel of interest Reference Pixels … Store Operation
- 127. BF Time[ms] 3970X 4960X 5960X 6950X Year 0 100 200 300 400 500 600 700 2012 2013 2014 2015 2016 2017 SSE EXP SSE LUT set SSE Quantization LUT set AVX EXP AVX LUT set AVX LUT gather AVX Quantization LUT set
- 128. BF: SSE Time[ms] 3970X 4960X 5960X 6950X Year 0 100 200 300 400 500 600 700 2012 2013 2014 2015 2016 2017 SSE EXP SSE LUT set SSE Quantization LUT set
- 129. BF: AVX/AVX2 Time[ms] 3970X 4960X 5960X 6950X Year 0 50 100 150 200 250 300 350 400 450 2012 2013 2014 2015 2016 2017 AVX EXP AVX LUT set AVX LUT gather AVX Quantization LUT set AVX Quantization LUT gather AVX2 with FMA3 EXP AVX2 with FMA3 LUT set
- 130. BF: EXP Time[ms] 3970X 4960X 5960X 6950X Year 0 100 200 300 400 500 600 700 2012 2013 2014 2015 2016 2017 SSE EXP AVX EXP AVX2 with FMA3 EXP
- 131. BF: LUT Time[ms] 3970X 4960X 5960X 6950X Year 0 50 100 150 200 250 300 2012 2013 2014 2015 2016 2017 SSE LUT set AVX LUT set AVX LUT gather AVX2 with FMA3 LUT set AVX2 with FMA3 LUT gather
- 132. BF: Quantization LUT Time[ms] 3970X 4960X 5960X 6950X Year 0 50 100 150 200 250 300 2012 2013 2014 2015 2016 2017 SSE Quantization LUT set AVX Quantization LUT set AVX Quantization LUT gather AVX2 with FMA3 Quantization LUT set AVX2 with FMA3 Quantization LUT gather
- 133. 0 100 200 300 400 500 600 700 800 2012 2013 2014 2015 2016 2017 SSE EXP SSE LUT set SSE Quantization LUT set AVX EXP AVX LUT set AVX LUT gather AVX Quantization LUT set AVX Quantization LUT gather AVX2 with FMA3 EXP NLMF Time[ms] 3970X 4960X 5960X 6950X Year
- 134. 0 100 200 300 400 500 600 700 800 2012 2013 2014 2015 2016 2017 SSE EXP SSE LUT set SSE Quantization LUT set NLMF: SSE Time[ms] 3970X 4960X 5960X 6950X Year
- 135. 0 100 200 300 400 500 600 700 2012 2013 2014 2015 2016 2017 AVX EXP AVX LUT set AVX LUT gather AVX Quantization LUT set AVX Quantization LUT gather AVX2 with FMA3 EXP AVX2 with FMA3 LUT set AVX2 with FMA3 LUT gather AVX2 with FMA3 Quantization LUT set NLMF: AVX/AVX2 Time[ms] 3970X 4960X 5960X 6950X Year
- 136. 0 100 200 300 400 500 600 700 800 2012 2013 2014 2015 2016 2017 SSE EXP AVX EXP AVX2 with FMA3 EXP NLMF: EXP Time[ms] 3970X 4960X 5960X 6950X Year
- 137. 0 100 200 300 400 500 600 2012 2013 2014 2015 2016 2017 SSE LUT set AVX LUT set AVX LUT gather AVX2 with FMA3 LUT set AVX2 with FMA3 LUT gather NLMF: LUT Time[ms] 3970X 4960X 5960X 6950X Year
- 138. 0 100 200 300 400 500 600 2012 2013 2014 2015 2016 2017 SSE Quantization LUT set AVX Quantization LUT set AVX Quantization LUT gather AVX2 with FMA3 Quantization LUT set AVX2 with FMA3 Quantization LUT gather NLMF: Quantization LUT Time[ms] 3970X 4960X 5960X 6950X Year
- 139. タイリング（行列積） 139
- 140. 行列積（MATMUL） 140 for (i=0; i<N; i++) for (j=0; j<N; j++) for (k=0; k<N; k++) C[j][i] += A[j][k] * B[k][i]; // C = A x B C A B= × i j k k 縦方向のアクセスはキャッシュが うまく使えていない N2のデータに対してO(N3)
- 141. 行列積（MATMUL） 141 for (j=0; j<N; j++) for (k=0; k<N; k++) for (i=0; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B C A B= × i j k ループ順序の入れ替え i
- 142. 行列積（MATMUL） 142 for (j=0; j<N; j++) for (k=0; k<N; k++) for (i=0; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B C A B= × i j k+1 ループ順序の入れ替え i
- 143. A 行列積（MATMUL） 143 for (j=0; j<N; j++) for (k=0; k<N; k++) for (i=0; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B C B= × i j k+n ループ順序の入れ替え i
- 144. 行列積（MATMUL） 144 C A B= × i j k タイリング i for (j=0; j<N; j++) for (k=0; k<N/2; k++) for (i=0; i<N/2; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=0; k<N/2; k++) for (i= N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B
- 145. 行列積（MATMUL） 145 C A B= × i j k タイリング i for (j=0; j<N; j++) for (k=0; k<N/2; k++) for (i=0; i<N/2; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=0; k<N/2; k++) for (i= N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B
- 146. 行列積（MATMUL） 146 C A B= × i j k タイリング i for (j=0; j<N; j++) for (k=0; k<N/2; k++) for (i=0; i<N/2; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=0; k<N/2; k++) for (i= N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B
- 147. 行列積（MATMUL） 147 C A B= × i j k タイリング i for (j=0; j<N; j++) for (k=0; k<N/2; k++) for (i=0; i<N/2; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=0; k<N/2; k++) for (i= N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B
- 148. 行列積（MATMUL） 148 C A B= × i j k タイリング i for (j=0; j<N; j++) for (k=0; k<N/2; k++) for (i=0; i<N/2; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=0; k<N/2; k++) for (i= N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B
- 149. 行列積（MATMUL） 149 C A B= × i j k タイリング i for (j=0; j<N; j++) for (k=0; k<N/2; k++) for (i=0; i<N/2; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=0; k<N/2; k++) for (i= N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B
- 150. 行列積（MATMUL） 150 C A B= × i j k タイリング i for (j=0; j<N; j++) for (k=0; k<N/2; k++) for (i=0; i<N/2; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=0; k<N/2; k++) for (i= N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B この領域が繰り返し処理される →最も変動する場所が局所化 →近いキャッシュに乗ったまま処理可能
- 151. 行列積（MATMUL） 151 C A B= × i j k タイリング i for (j=0; j<N; j++) for (k=0; k<N/2; k++) for (i=0; i<N/2; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=0; k<N/2; k++) for (i= N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B for (k=N/2; k<N; k++) for (i=N/2; i<N; i++) C[j][i] += A[j][k] * B[k][i]; // C = A x B 残った領域もブロックで処理
- 152. 並列化プログラミング 152
- 154. アムダールの法則 𝑆 = 1 (1 − 𝑃) + 𝑃 𝑁 154 S：高速化率 P：並列化率 N：プロセッサ数 0 5 10 15 20 1 3 5 7 9 11 13 15 高速化率（倍） プロセッサ数数 P=0.9 P=1.0 P=0.8 P=0.0 P=0.7
- 155. 並列化の限界 155 並列化 不可 並 列 可 能 並列化率 90％並列化率 １０％ 並列化率：並列化可能な部分 並列化 不可 たとえ無限個のコアで並列化しても 並列化不可の部分は高速化不可能 並 列 化 不 可 並列可能 並 列 化 不 可
- 156. 粒度 –分割された処理の大きさ 並列オーバーヘッド –分割するほど分割・統合するための オーバーヘッドが増加 1. 共有メモリのロック 2. データの分配（データのコピーは時間がかかる） 3. スレッドの生成，起動，同期 –粒度が大きいほどオーバーヘッドは隠蔽可能 –分割するほど負荷分散（大数の法則） 粒度と過分割 156
- 157. アムダールの法則（オーバーヘッド） 157 𝑆 = 1 1 − 𝑃 + 𝑃 𝑁 + 𝑓(𝑁) S：高速化率 P：並列化率 N：プロセッサ数 f(N)：オーバーヘッド f(N)=0.001Nのコア数が増えると線形に オーバーヘッドが増えると仮定 並列化に最適ポイントが生じる
- 158. フリンの分類 Single Instruction, Single Data stream (SISD) Single Instruction, Multiple Data streams (SIMD) Multiple Instruction, Single Data stream (MISD) Multiple Instruction, Multiple Data streams (MIMD) 158 ※GPUはMIMDだが，SIMD風に書くときに最大のパフォーマンスを発揮する演算機 NVIDIAは，SIMT (Single Instruction, Multiple Thread) と呼称 SISD • シングル コア SIMD • SSE・AVX GPU MISD • FPGA,H/W† MIMD • マルチ コア 命令の並行度とデータの並行度に基づく4つの分類 †厳密には多段に適応するため，MISDではないという専門家の意見も
- 161. 並列計算 161 処理A 処理B 処理C 処理D Start End 処理A 処理B 処理C 処理D Start End
- 162. OpenMPによる並列化：加算 162 void add(uchar* a, uchar* b, uchar* dest, int num) { for(int i=0;i<num;i++) { dest[i] = a[i] + b[i]; } } void add_omp (uchar* a, uchar* b, uchar* dest, int num) { #pragma omp parallel for for(int i=0;i<num;i++) { dest[i] = a[i] + b[i]; } } #pragma omp parallel for この一行を追加するだけでforループが並列化される pthreadで書くとこの5倍はプログラムが長くなる
- 163. ベクトル演算 163
- 164. intricsicsによる加算 164 void add_sse_uchar(uchar* a, uchar* b, uchar* dest, int num) { for(int i=0;i<num;i+=16) { //メモリ上の配列A，Bを各をレジスタへロード __m128i ma = _mm_load_si128((const __m128i*)(a+i)); __m128i mb = _mm_load_si128((const __m128i*)(b+i)); //A,Bが保持されたレジスタの内容を加算してmaのレジスタにコピー ma = _mm_add_epi8(ma,mb); //計算結果のレジスタ内容をメモリ（dest）にストア _mm_store_si128((__m128i*)(dest+i), ma); } } 必要な関数を呼び出すだけ！ レジスタの管理も不要 GPUのように，メモリの ロード・ストアが必要 （ただし，非常に高速） 16個づつ処理 →ループアンロール たった５行？
- 165. ベクトル並列化プログラム 165 void boxfilter(float* src, float* dest, int w, int h, int r) { for(int j=r;j<h-r;j++) { float normalize = 1.0f/(float)((2*r+1)*(2*r+1)); for(int i=r;i<w-r;i+=4) { float msum = 0.f; for(int l=-r;l<=r;l++) { for(int k=-r;k<=r;k++) { msum += src [w*(j+l)+i+l]; } } dest[w*j+i]=msum*normalize; } } }
- 166. ベクトル並列化プログラム 166 void boxfilter_sse_omp(float* src, float* dest, int w, int h, int r) { #pragma omp parallel for for(int j=r;j<h-r;j++) { float normalize = 1.0f/(float)((2*r+1)*(2*r+1)); __m128 mnormalize = _mm_set1_ps(normalize); for(int i=r;i<w-r;i+=4) { __m128 msum = _mm_setzero_ps(); for(int l=-r;l<=r;l++) { for(int k=-r;k<=r;k++) { __m128 ms=_mm_loadu_ps(src+w*(j+l)+i+l); msum = _mm_add_ps(msum,ms); } } msum = _mm_mul_ps(msum,mnormalize); _mm_storeu_ps(dest+w*j+i,msum); } } }
- 173. 時間局所性が高いた めL2キャッシュで律 速しやすい 並列化，ベクトル化 が有効に働く BFのルーフライン解析 173 演算強度 [flop/byte] パフォーマンス[GFLOPS] 10-3 10210110010-110-2 10-2 104 103 102 101 100 10-1 並列化 ベクトル化