openlab

1. ランダムフォレストに基づいた
非同期式Binarized Neural
Network回路の設計
s1270159
鈴木 暖也

2. 背景
• 近年、Deep Learning(DL)は広く利用され、消費電力の削減や高速な
処理のために専用回路化が行われている
• 精度の高いモデルはパラメータが多く、層も深いため、
エッジでの処理に向かない
• 重みや出力を二値化したBinarized Neural Network(BNN)[1]は、
モデルサイズを削減
• 更にモデルサイズを削減する手法として、ランダムフォレスト(RF)による
近似が挙げられる[2]

3. 目的
• 本研究では、RFに基づいた非同期式BNN回路を設計する
• Field Programmable Gate Array (FPGA)を対象にする
• 非同期式回路とすることで電力を削減

4. 同期式回路と非同期式回路
全ての回路部品が動作
• 回路の制御にグローバルな
クロック信号を使用
• 設計が容易
• 消費電力が大きい
必要な回路部品のみ動作
• 回路の制御はローカルな
ハンドシェイク信号で実施
• 設計が比較的難しい
• 消費電力が小さい
レジ
スタ
組合せ
回路
レジ
スタ
制御
モジュール
制御
モジュール
グローバルなクロック信号
レジ
スタ
組合せ
回路
レジ
スタ
req
ack
同期式回路 非同期式回路

5. BNNとRF
Binarized Neural Network(BNN)
• 重みや入出力の値を浮動小数点数の代わりに、2値 (-1と1のどちらか)を
使用するNeural Network
• メモリ使用量が少なく、高速な処理や消費電力の削減が見込める
• XNOR, adder treeを用いて実装される
Random Forest(RF)
• 機械学習の一種で、決定木を用いたアンサンブル学習
• 同じ学習用データ群から複数の決定木の学習を行い、
各決定木の出力の多数決を取って最終的な結果を決める
通常のNeural Network Binarized Neural Network
-1
1
-1
1.25
-3.4
-4.25
多数決
決定木1
・・・
最終結
果
決定木2 決定木N

6. 近似BNN
RFに基づいた近似BNN[2]
• RFを用いてBNNの一部を近似したモデル
• 従来のBNNではXNORや加算ツリーを用いるところを、
比較演算に置き換えることができるため、 計算量を削減することが可能で、
大規模なBNNを FPGAに載せることを可能にできる
通常のBNNの構造
RFに基づいた近似BNNの構造
Conv
BatchNorm
Sign
Pool
Conv
BatchNorm
Sign
Pool
FC
Softmax
Conv
BatchNorm
Sign
Pool
Random
Forest
FC
Softmax

7. アプローチ
RFに基づいた同期式BNN回路作成
• [2]で提案された手法を基に、車の進行方向を決める画像分類モデルを
二値化RFモデルに変換
• 二値化RFモデルを同期式回路としてVerilogハードウェア記述言語で
モデリング
• FPGA設計支援ツールにて同期式回路を設計
• 設計した同期式回路の性能、電力評価
非同期化
• [3]の手法を参考に同期式Verilogモデルより非同期式Verilogモデルを作成
• FPGA設計支援ツールにて非同期式回路を設計
• 設計した非同期式回路の性能、電力評価
• 非同期式回路による電力削減効果の確認

8. 現在の状況と今後のスケジュール
現在の状況
• [3]の手法を参考に同期式Verilogモデルより非同期式Verilogモデルを作成
今後のスケジュール
10月 11月 12月
非同期化 同期式モデルから
非同期式モデルを作成
設計支援ツールによる
非同期式回路設計
非同期式回路の性能、電力評価
論文執筆

9. 参考文献
[1] M. Courbariaux et al, “Binarized neural networks: Training deep neural
networks with weights and activations constrained to +1 or -1”,
Computer Research Repository (CoRR), 2016
[2] K. Kimura, et al, “Area-efficient Binary and Ternary CNN Accelerator
using Random-forest-based Approximation”, CANDAR, p114-120, 2021
[3] S. Semba, H. Saito, “RTL Conversion Method From Pipelined
Synchronous RTL Models Into Asynchronous Ones”, IEEE access(Vol10),
p.28949-28964, 2022