なにわTech20170218(tpu) tfug
•Download as PPTX, PDF•
3 likes•4,513 views
20170218なにわテック祭り、20170227 TFUGハード部発表資料
More Related Content
What's hot
What's hot (20)
Similar to なにわTech20170218(tpu) tfug
Similar to なにわTech20170218(tpu) tfug (20)
More from Natsutani Minoru
More from Natsutani Minoru (20)
Recently uploaded
Recently uploaded (14)
なにわTech20170218(tpu) tfug
- 1. TensorFlowの量子化について 2017/2/18 株式会社パソナテック エンジニアリング事業部 夏谷 1 Imagination, Action, and to the Creation!
- 2. アジェンダ 自己紹介と経緯 Hexagonアーキテクチャ TensorFlowで使われている量子化について 量子化された数値の演算 定数の加算、乗算 符号反転 量子化された数値の加算 量子化された数値の乗算 再量子化 NPUの紹介 NPUのアーキテクチャ Verilog SIM結果 その他 足りないもの その他 2
- 3. 自己紹介 夏谷実 株式会社パソナテック 株式会社パソナテック エンジニアリング事業部 エンジニアマネージメントグループ TFUG KANSAI←New！ 最近は半導体関連の仕事が多い FPGAが好き プログラミングも好き Deep Learningも好き 3
- 5. Google supercharges machine learning tasks with TPU custom chip 5 https://cloudplatform.googleblog.com/2016/05/Google-supercharges-machine-learning-tasks-with-custom-chip.html 今ある情報は ・Googleの実際のサービスで使われ ている。 ・消費電力が少ない ・精度を落としている。 the chip to be more tolerant of reduced computational precision あれ、8bitに量子化してるって どこ情報？
- 7. CES2017でクアルコムがHexagon DSPでGoogleNetを動かす 7 https://www.qualcomm.com/news/snapdragon/2017/01/09/tensorflow-machine-learning-now-optimized-snapdragon-835-and-hexagon-682 Optimal power & performance for GoogleNet Inception DNN (Deep Neural Network). Choose the core to match the user experience. (actual performance may vary) 8～9fps 整数のみのSIMDですごく良いパフ ォーマンスがでる。 これは何かトリックがあるはず。
- 15. Hexagon architecture DSPとは CPUの横のGPUポジション、SIMDで行列演算が強い OSを動かすのは苦手 消費電力と計算量のバランスが良い DRAMから内部メモリへデータを持ってきて、ベクトル計算 後DRAMへ書き戻す。 Hexagonの特徴 SnapdragonにGPUも乗っている。GPUとCPUの間の処理 整数のベクトル演算に特化。 バイト単位の計算も得意 LUT持ってます 15
- 17. TensorFlowがサポートしている型 17 https://www.tensorflow.org/api_docs/python/framework/tensor_types •tf.int8: 8-bit signed integer. •tf.uint8: 8-bit unsigned integer. •tf.uint16: 16-bit unsigned integer. •tf.int16: 16-bit signed integer. •tf.int32: 32-bit signed integer. •tf.int64: 64-bit signed integer. •tf.bool: Boolean. •tf.string: String. •tf.qint8: Quantized 8-bit signed integer. •tf.quint8: Quantized 8-bit unsigned integer. •tf.qint16: Quantized 16-bit signed integer. •tf.quint16: Quantized 16-bit unsigned integer. •tf.qint32: Quantized 32-bit signed integer. •tf.resource: Handle to a mutable resource. 量子化はサポート済み
- 19. How Does the Quantization Process Work? 19 https://petewarden.com/2016/05/03/how-to-quantize-neural-networks-with-tensorflow/
- 21. 21 量子化された数値の演算
- 22. 量子化された数値の演算 定数の加算、乗算 A + 0.5 A * 0.2 符号反転 -A 量子化されたベクトルの加算 A + B 量子化されたベクトルの乗算 A * B 再量子化 22 ※numpyのイメージで
- 23. 定数の加算 23 0 max+a min+a Xqt X 255 gain offset maxとminの値に定数を加算すれば終り。 例：min = 0, max = 100の量子化されたデータ全てに50を足す場合は、min=50, max=150にする。量子化された値は修正不要。 Xの要素数nによらず定数の加算はO(1)、ほぼノーコストで実行できる。
- 25. 定数の乗算 25 float max float minA 𝐴′ = 1 4 𝐴 float max/4 float min/4 ①ベクトルAから、定数倍 したベクトルA’を作るとき に、max, minだけ変数の 領域を取ればよい ②ベクトルAとベクトルBにそれ ぞれ違う定数をかける 𝐴′ = 0.25 ∗ 𝐴 float max_a*0.25 float min_a*0.25 𝐵′ = 0.128 ∗ 𝐵 float b_max*0.128 float b_min*0.128
- 26. 定数の乗算 26 縦方向のコンボリューション 3x3 kernel kernelの係数の乗算は、 定数の乗算なのでO(1) で完了する。 横方向のコンボリューション 5 6 7 8 の注目画素が6の時、p-1は5, p+1は7 3x3 kernel 横方向はもっと楽。 元のベクトルを変更する ことなく、コンボリューシ ョンの係数乗算が終了 する。 →加算ができればコン ボリューション終了 注意点：加算時に乗算が入るので、計算自体が減るわけではない。（むしろ増える）
- 27. 符号反転 27 0 max min Xqt X 255 gain offset 255 min max 0 Xqt 量子化された値を入れ替える max, minに-1をかけるだけでもシステムとしては問題無いが、TensorFlowの世界で は常に max > min が成り立つようにしないといけない。
- 36. 量子化された乗算 36 A,Bの最小値を0にする。A’, B’とも全ての要素は0以上。 8bitの乗算 量子化された加算が2回 A’, B’のoffsetは0だから 例： (3x-2)(2y+1)=6xy
- 40. まとめ 40 定数の加算、乗算 符号反転 量子化されたベクトルの加算 量子化されたベクトルの乗算 再量子化 max, minの操作のみ max, minの操作＋量子化された値を反転 乗算2回、加算1回、ただしDSPだと1命令 乗算4回、加算2回、ただしDSPだと1～2命令
- 41. 41 NPUの紹介
- 42. NPUのアーキテクチャ Nagato Processing Unit 細かい計算はCPUに任せて、量子化されたデータの SIMDのみ実装 一回目のテスト実装 名前は募集中 42 ボツ案 てくのたんのプロセッシングユニット TTPU
- 43. NPUアーキテクチャ 43 Local memory x4 M0 M1 M2 M3 DRAM CPU I/F NPU Core8bit 8bit qADD qMUL registers SRAM CNT CPU R/W 8bit
- 44. 符号反転回路 44
- 46. 乗算 46
- 50. 50 その他
- 51. TPUにありそうな機能 qint8, qint16, qint24, qint32サポート 8bitじゃReluが精一杯 識別系（最後がsoftmax)には使えるけど、それ以外の用 途だともう少し精度が欲しい気がする。 Hexagonの様子を見る ローカルメモリコントローラ 部分行列、転置のサポート 量子化、逆量子化、再量子化ハードウェアサポート 量子化された値の統計情報サポート 最大値、最小値 合計値 51
- 52. TPUにありそうな機能 52 A_qt B_qt q_add C_qt gamma correction (LUT) アドレス8bit 8bit幅のLUT C‘_qt ReLU シグモイド 飽和演算 2値化 出力にガンマ補正の回路
- 54. 足りない物 54 リファレンスモデル ・SystemC or MyHDL ・性能見積もり、複数のNPU、ALU等 SIMのバッチ実行環境 ・乗算器の実装（ベンダー非依存に） ・今 Vivado の SIM→iverilog等ベンダー非依存、かつコマンドライン実行に ・リファレンスモデルから期待値を作り、自動比較 ・ランダム検証 評価用プログラム ・ひらがな認識は単純パーセプトロン、CNN 実機環境 ・Pynq 画像入力、CPU I/F、DRAM I/F 作成中
- 56. KerasからCへ 56
Editor's Notes
- こうのまりか