入江(kiy)です．2018/3/22 Chainer LT Meetupで発表した内容です． ちなみに会場の会社で以前働いていました．

1. CuPyでAx=bを解きたかった話
@kiy (入江清)
Twitter: kiy_at_dev
Github: kiyoshiiriemon
Web: http://furo.org/irie/
※2018/3/22のChainer LT Meetupで発表した内容です(公開用に微調整済み)

2. 今日の話題
 きっかけ
 Ax=bを解く
⁃ 最小二乗法ではおなじみ連立一次方程式
⁃ numpyならlinalg.solve(A,b)
⁃ MATLABなら x = A¥b
⁃ CuPyでGPU最適化ソルバが入ったので試してみる
kiy 「CuPyでAx=bを解きたかった話」
(得居さんのChainer v3の説明スライドより)

3. cupy.linalg.solve()を試す
kiy 「CuPyでAx=bを解きたかった話」
 ランダムな行列Aで処理時間を測定 (単精度)
 行列サイズ4k~8k付近からcupy(GPU)が優位
環境
CPU: Xeon E5-2643 v3
GPU: Tesla M40
0
50
100
150
200
250
16 32 64 128 256 512 1024 2048 4096 8192 16384
処理時間[s]
行列サイズ
solve(A,b)の処理時間 [s]
cpu (scipy) gpu (cupy)
⇨行列サイズが大きい場合に3-4倍速い

4. 実問題への適用: SLAM
 SLAM: センサデータをつないで地図を作る
 自分の位置がわからないと綺麗につながらない
kiy 「CuPyでAx=bを解きたかった話」
友納正裕「SLAM入門」のサンプルプログラムより
https://github.com/furo-org/LittleSLAM

5. ポーズ調整
 同じ場所に戻ってくると累積誤差が目立つ
⇨これを修正する手法の一つ: ポーズ調整
kiy 「CuPyでAx=bを解きたかった話」
修正

6. ポーズ調整の解き方
 非線形の最小二乗問題
 Gauss-Newton法を適用
⁃ 目的関数の線形近似と最小化を繰り返す
⁃ 線形化した誤差関数は二次形式
微分=0により，dに関する１次方程式に帰着
kiy 「CuPyでAx=bを解きたかった話」
疎，対称，正定値という性質を活用すれば効率的に解ける！
x: ロボットの移動軌跡ベクトル

7. 処理時間比較
 ベンチマークデータで評価
⁃ Manhattan3500
⁃ 行列サイズは10500x10500
 Denseソルバ
 Sparseソルバ
kiy 「CuPyでAx=bを解きたかった話」
scipy.sparse (CPU) cupy MATLAB (CPU) cholmod (CPU)
0.68s 実装なし 0.1s 0.01s
scipy (CPU) cupy (GPU) MATLAB (CPU)
6.87s 3.16s 40s
⇨適切なアルゴリズムを使えばCPUでも高速

8. まとめ
 PythonでAx=bを解きたい
⁃ Aが巨大でスパースになる問題
⁃ SLAMのポーズ調整
⁃ 他にもバンドル調整や有限要素解析など
 CuPyはどう使えるか?
⁃ スパースなソルバは実装されていない
⁃ Aが密で大ならばcupy.linalg.solve()
⁃ GPUの恩恵を受けられる(3~4倍高速化)
 今後の課題: GPU対応スパースソルバの調査
⁃ cuSPARSE, cholmodのGPU対応版
kiy 「CuPyでAx=bを解きたかった話」