Download as PDF, PPTX
![[DL輪読会]Temporal DifferenceVariationalAuto-Encoder](https://cdn.slidesharecdn.com/ss_thumbnails/20181130new-190205051636-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions](https://cdn.slidesharecdn.com/ss_thumbnails/dlreadingpaper20180720-180723071258-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Graph R-CNN for Scene Graph Generation](https://cdn.slidesharecdn.com/ss_thumbnails/graphr-cnnforscenegraphgenerationkobayashi1130-181130001547-thumbnail.jpg?width=640&height=640&fit=bounds)
第14回 配信講義 計算科学技術特論B（2022）
- 1. 第14回計算科学 技術特論B 数 値 計算 に お け る 丸 め 誤 差 芝 浦 工 業 大 学 シ ス テ ム 理 工 学 部 数 理 科 学 科 尾 崎 克 久 1
- 2. 自己紹介 • 芝浦工業大学 システム理工学部 •数理科学科 教授 • 尾崎 克久（おざき かつひさ） • 専門 – 精度保証付き数値計算 – 高精度計算 – 数値線形代数 – 丸め誤差解析 2
- 3. 講義内容（14回目：2022/7/21） • 数値計算における誤差 –お手頃価格の電卓による事例 –MATLABによる事例 • 浮動小数点数とその演算 •丸め誤差に関する話題 –数値再現性 –連立一次方程式 –計算幾何学（凸包） • まとめと参考文献 3
- 4. 講義内容（15回目：2022/7/28 ） • 精度保証付き数値計算とは •浮動小数点演算の丸めのモード • 行列の正則性の計算機援用証明 – 理論の紹介 – MATLABコードによる実装 • 連立一次方程式の精度保証付き数値計算 – 理論の紹介 – MATLABコードによる実装 • 大規模数値計算環境での計算結果（紹介） • まとめと参考文献 4
- 5. 数値計算の誤差（実演） • 電卓・計算機で計算した結果はいつでも正しいと思っていますか？ – そうではないことを実演します． •計算結果があわない例 • 実数とは異なる性質 • ＭATLABを用いたデモですが，数値計算を扱う言語では同じ現象を確認 できるはずです． 5
- 6. 数値計算による誤差 • C言語やJavaにおいて – 整数を扱うならint型 –小数点以下も扱うならdouble型 を使うとよいと教わっていませんか？ • C言語やJavaにおいて – 整数を扱うならint型 – 実数を扱うならdouble型 を使うとよいと教わっていませんか？ こっちの理解はダメ こっちの理解は微妙 6
- 7. 浮動小数点数 • IEEE 754によって定められる2進浮動小数点数 •本日は数としての理解を進めるためにbinary64（倍精度浮動小数点数）に限定し， かつ – 符号部・指数部・仮数部 – バイアス表記 – 正規化数・非正規化数 – 零・Inf・NaN などの説明は割愛します． 数の表現としてのビットパターンについては触れません． 7
- 8. 浮動小数点数 • Binary64（倍精度浮動小数点数） • 2進数です •C言語やJavaではdouble型（MATLABではデフォルト） • 使えるのは連続する５３ビット ・・・ ・・・ ・ 2-1073 2-1 20 21022 21023 2-1074 符号 8
- 9. 浮動小数点数 • １よりも大きい最小の倍精度浮動小数点数は？ • 使えるのは連続する５３ビット ・・・ ・ 2-51 2-1 202-52 2-1 2-53 1 0 0 0 1 これ以降は情報を保持できない 9
- 10. ・・・ ・ 2-51 2-1 20 2-52 2-1 1 00 0 0 ・・・ ・ 2-51 2-1 20 2-52 2-1 1 0 0 0 1 ・・・ ・ 2-51 2-1 20 2-52 2-1 1 0 0 1 0 ・・・ ・ 2-51 2-1 20 2-52 2-1 1 0 0 1 1 1 1+2-52 1+2-51 1+2-51 +2-52 1 1+2u 1+4u 1+6u u=2-53 10
- 11. 浮動小数点数 １ １+2u １+4u１+6u １+8u １+10u １の後はしばらく2uの間隔で浮動小数点数は存在する u=2-53 11
- 12. 例題 • 1+u+u+u+u+u+u+…+u-1-u • が数値計算ではマイナスになる？（デモの内容） •1+uの浮動小数点演算の結果は丸められて1 • 1-1は0 • よって数値計算結果はマイナス • 計算順を変えたら？ 12
- 13. 浮動小数点数演算 • double a,b, c; • //a,bに何かしらの値をセット • c = a + b; • 浮動小数点数と浮動小数点数の演算結果は浮動小数点数か？ – そうでない例がある→丸め誤差が発生 – a = 1, b=2-53, a+bは浮動小数点数ではない • 丸め誤差が発生する場合，最も近い浮動小数点数を返す – デフォルトの丸めモード – 偶数丸め方式 13
- 14. 浮動小数点数の基礎はここまで • デモによる例はなぜ起こるのか，わかったことと思います． • 浮動小数点数とその演算は –扱えない実数があること – 実数のときにいえる性質は使えないものがあること • 例：結合則や分配則 を押さえておいてください． 14
- 15. 数値再現性 • 先ほどのデモで，数値計算（浮動小数点演算）は計算順によって結果が変わることは 理解できたと思います． ２スレッドで総和を計算 ４スレッドで総和を計算 + + + + + ++ + + + + + + + + + + + + + + + + + + + + + + + スレッド１が計算 スレッド２が計算 スレッド１が計算 スレッド２が計算 スレッド３が計算 スレッド４が計算 各スレッド内では 逐次計算を仮定 15
- 16. 数値再現性 • 数値再現性に関連する要素 –スレッド数 –Fused Multiply-Add •a*b+c –コンパイラの違い –コンパイルオプション（最適化） –動的スケジューリング • ユーザの環境の違いが大きく数値計算結果に影響する 16
- 17. 数値再現性 • ある手法の有効性が論文で示されていた． • 自分もその手法を実装して実験してみた！→有効性が確認できなかった？ •その論文で書かれていたことが怪しいのか？ • （著者にクレームをする前に）数値再現性の問題を思い出してください． • 数値再現性（Reproducible Numerical Algorithms）自体が研究のキーワードの １つ 17
- 18. 連立一次方程式 • 連立一次方程式の近似解の精度を検証したい • 標準的な方法（密行列）：LU分解＋前進代入＋後退代入 –MATLAB：A¥b – LAPACK: dgesv • 疎行列に対しては反復解法を用いることも可 18
- 19. 連立一次方程式 • 連立一次方程式のソルバの性能（精度）を検証したい． Ax=b, Aは係数行列，bは右辺ベクトル •行列Aを何かしらの方法で作る • 解xを自分で事前設定する • 右辺ベクトルbをb:=A*xで生成する • xが解であるので，数値解（近似解）の精度を検証できる！？ 丸め誤差の問題を忘れていませんか？ デモ 19
- 20. 連立一次方程式 A(x+x’)=b + b’ •右辺ベクトルがb’だけずれたら，解はx’だけずれる Ax’=b’ x’=A-1b’ || x’ || = ||A-1b’|| || x’ || ≦ ||A-1|| ||b’|| || x’ || / || x || ≦ ||A-1|| ||b’|| / ||x|| || x’ || / || x || ≦ ||A-1|| ||A|| ||b’|| / ||b|| 条件数 ||Ax|| = ||b|| ||A|| ||x||≧ ||b|| ||x||≧ ||b|| / ||A|| 1 / ||x||≦ ||A|| / ||b|| Aの正則性を仮定 xの長さは0ではないと仮定 20
- 21. 連立一次方程式 • 誤差のチェックは残差で十分か？（近似解をx’とする） x’-x =x’ – A-1b = A-1 A x’ – A-1b = A-1 (A x’ – b) 両辺にノルムをとると ||x’-x|| = ||A-1 (A x’ – b)|| ||x’-x|| ≦ ||A-1 || || A x’ – b|| 誤差のノルム 残差のノルム 条件数が関連する式もあります 21
- 22.
- 23.
- 24.
- 25. 凸包について • 凸包を求めるアルゴリズム – 逐次添加法（本日扱います） –包装法 – Quick Hull – グラハムの方法 など 25
- 26.
- 27.
- 28. 丸め誤差の問題はここでも • 数値計算では結果の符号は正しいですか？ • もしも結果（符号）が異なっていたら？ if符号が正 正の場合の処理 elseif 符号が負 負の場合の処理 else ゼロの場合の処理 処理内容を誤る可能性 28
- 29. 逐次添加法 • Pk: k番目の点 •Ck: k番目までの点に対する凸包 • P1, P2, P3からC3（同一直線状にないと仮定して三角形）を作る • Ck からCk+1 を作る • PkがCkの内部にあるかどうかが大事 • Ck の点は反時計周りに並ぶと仮定 29
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36. 丸め誤差の問題？ • もしも点と有向直線の位置関係の判定を間違えたら？ （行列式の符号を間違えたら？） – 無視できるくらいの問題 –問題を起こさない場合 – 大きな問題 – とても大きな問題 36
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54. 誤差の問題 • １つ１つの計算の多くは問題ない・・・が • １回の間違いでアルゴリズムの進行をグダグダにすることもある –符号を間違えればif文の選択を誤る • （他の計算幾何の問題で）最悪無限ループに陥る事例も報告されている • アルゴリズムの破綻も大きな問題である 54
- 55. まとめ • 数値計算の誤差に関する言葉（ W.Kahan ） –数値計算における誤差はいつでも心配する問題ではないが， 無視できるほど少なくはない問題である． • 自分が計算原理は知っていて損はない • 自分が扱っている問題の計算結果がおかしかったら？ –プログラムのミス？アルゴリズムの問題？計算誤差？ • 数値計算結果の妥当性を知るには？ → 次回のお話し 55
- 56. 補足 • ここまでの講義で数値計算の誤差の問題ばかりを取り上げた ので，数値計算にネガティブな印象を持った方もおられるか もしれませんが，あくまで注意です． • IEEE754の設計はしっかりとしたものだと思っています． • 数値計算は計算速度の観点で非常に重要なものです． （１秒間に～ギガ回の計算ができる） 56
- 57. 本日の参考文献 • 電卓の誤差の例 計算機援用証明 1 https://www.jstage.jst.go.jp/article/bjsiam/14/3/14_KJ00003509956/_pdf/-char/ja •IEEE 754（1985, 2008もある） • https://ieeexplore.ieee.org/document/4610935 • 凸包の問題点 Classroom examples of robustness problems in geometric computations： https://www.sciencedirect.com/science/article/pii/S0925772107000697 57