Recommended
More Related Content
What's hot
What's hot (20)
Similar to 第15回 配信講義 計算科学技術特論B（2022）
Similar to 第15回 配信講義 計算科学技術特論B（2022） (20)
More from RCCSRENKEI
More from RCCSRENKEI (16)
第15回 配信講義 計算科学技術特論B（2022）
- 1. 第15回計算科学 技術特論B 精度保証付き数値計算入門 芝 浦 工 業 大 学 シ ス テ ム 理 工 学 部 数 理 科 学 科 尾 崎 克 久
- 2. 講義内容（14回目：2022/7/21） • 数値計算における誤差 –お手頃価格の電卓による事例 –MATLABによる事例 • 浮動小数点数とその演算 • 丸め誤差に関する話題 –数値再現性 –連立一次方程式 –計算幾何学（凸包） • まとめと参考文献
- 3. 講義内容（15回目：2022/7/28 ） • 精度保証付き数値計算とは • 浮動小数点演算の丸めのモード • 行列の正則性の計算機援用証明 – 理論の紹介 – MATLABコードによる実装 • 連立一次方程式の精度保証付き数値計算 – 理論の紹介 – MATLABコードによる実装 • 大規模数値計算環境での計算結果（紹介） • まとめと参考文献
- 5. 精度保証付き数値計算とは • イメージ • （例）真の解は近似解を中心に半径～以内に存在する – もちろん高速に実行したいし，小さい半径を得たい • 失敗すると – -InfからInfに存在 – わからない 真の解の存在範囲
- 6. 浮動小数点演算の丸めのモード • 数値計算では丸め誤差の影響で計算結果が正しくない可能性がある． • 例：２つのベクトルが直交しないことを確認したい – ベクトルの内積を計算して０ではない→２つのベクトルは直交しない • 例：𝑥𝑥 = 1, 𝑢𝑢, −1, −𝑢𝑢 𝑇𝑇, 𝑦𝑦 = 1,11,1 𝑇𝑇 数値計算を使えば丸め誤差の影響は？
- 7. 浮動小数点演算における 丸めのモード • 丸めのモード（一部を紹介） – （多くの環境でデフォルト）最近点への丸め（偶数丸め） – 上向き丸め – 下向き丸め a+b 浮動小数点数 浮動小数点数
- 8. 浮動小数点演算における 丸めのモード • 真値が包含された区間を求める→区間演算 • 𝑓𝑓𝑓𝑓𝛻𝛻(⋯ )：括弧内の数式を下向き丸めで計算した結果 • 𝑓𝑓𝑓𝑓(⋯ )︓括弧内の数式を最近点丸めで計算した結果 • 𝑓𝑓𝑓𝑓∆(⋯ )︓括弧内の数式を上向き丸めで計算した結果 𝑓𝑓𝑓𝑓𝛻𝛻 𝑎𝑎 + 𝑏𝑏 ≤ 𝑓𝑓𝑓𝑓 𝑎𝑎 + 𝑏𝑏 ≤ 𝑓𝑓𝑓𝑓∆ 𝑎𝑎 + 𝑏𝑏 𝑓𝑓𝑓𝑓𝛻𝛻 𝑎𝑎 + 𝑏𝑏 ≤ 𝑎𝑎 + 𝑏𝑏 ≤ 𝑓𝑓𝑓𝑓∆ 𝑎𝑎 + 𝑏𝑏 が成立する．
- 9. 丸めモードを使ってみる • Ｃ言語でよくある例 fenv.hをインクルードして int fesetround(int mode) を使用する 使えるモードは FE_TONEAREST, FE_UPWARD, FE_DOWNWARD, FE_TOWARDZERO • CUDAでは演算毎に丸めの方向を指定することが可能 • MATLABはあとでデモします．
- 10. 浮動小数点演算における 丸めのモード • 𝑎𝑎 − 𝑏𝑏 ∗ 𝑐𝑐に関する計算 𝑓𝑓𝑓𝑓𝛻𝛻 𝑎𝑎 − 𝑏𝑏 ∗ 𝑐𝑐 ≤ 𝑎𝑎 − 𝑏𝑏 ∗ 𝑐𝑐 ≤ 𝑓𝑓𝑓𝑓∆ 𝑎𝑎 − 𝑏𝑏 ∗ 𝑐𝑐 はダメ 𝑓𝑓𝑓𝑓𝛻𝛻 𝑎𝑎 − 𝑓𝑓𝑓𝑓∆(𝑏𝑏 ∗ 𝑐𝑐) ≤ 𝑎𝑎 − 𝑏𝑏 ∗ 𝑐𝑐 ≤ 𝑓𝑓𝑓𝑓∆ 𝑎𝑎 − 𝑓𝑓𝑓𝑓𝛻𝛻 𝑏𝑏 ∗ 𝑐𝑐 はよい 単純に ・下向き丸めを用いれば下限が求まる ・上向き丸めを用いれば上限が求まる などと思わないこと
- 11. ベクトルが直交しない 𝛼𝛼 ≔ 𝑓𝑓𝑓𝑓𝛻𝛻 𝑥𝑥1𝑦𝑦1 + 𝑥𝑥2𝑦𝑦2 + ⋯ + 𝑥𝑥𝑛𝑛𝑦𝑦𝑛𝑛 𝛽𝛽 ≔ 𝑓𝑓𝑓𝑓∆ 𝑥𝑥1𝑦𝑦1 + 𝑥𝑥2𝑦𝑦2 + ⋯ + 𝑥𝑥𝑛𝑛𝑦𝑦𝑛𝑛 とすると以下が成立する 𝛼𝛼 ≤ 𝑓𝑓𝑓𝑓 𝑥𝑥1𝑦𝑦1 + 𝑥𝑥2𝑦𝑦2 + ⋯ + 𝑥𝑥𝑛𝑛𝑦𝑦𝑛𝑛 ≤ 𝛽𝛽 下限が正または上限が負であればベクトルが直交しない 𝛼𝛼𝛼𝛼 > 0ならばベクトルが直交しないと書くと・・・ 𝛼𝛼 ≤ 0 ≤ 𝛽𝛽のときはわからないと判断する デモ
- 12. 行列積では？ 𝑓𝑓𝑓𝑓𝛻𝛻 𝐴𝐴𝐴𝐴 ≤ AB ≤ 𝑓𝑓𝑓𝑓∆ 𝐴𝐴𝐴𝐴 が成立する？ • 𝐴𝐴𝐴𝐴をどう評価するかによる． • 例：Strassenの方法 𝐶𝐶11 𝐶𝐶12 𝐶𝐶21 𝐶𝐶22 ＝ 𝐴𝐴11 𝐴𝐴12 𝐴𝐴21 𝐴𝐴22 𝐵𝐵11 𝐵𝐵12 𝐵𝐵21 𝐵𝐵22 𝑃𝑃1 = 𝐴𝐴11 + 𝐴𝐴22 𝐵𝐵11 + 𝐵𝐵22 𝑃𝑃2 = 𝐴𝐴21 + 𝐴𝐴22 𝐵𝐵11 𝑃𝑃3 = 𝐴𝐴11 𝐵𝐵12 − 𝐵𝐵22 𝑃𝑃4 = 𝐴𝐴22 𝐵𝐵21 − 𝐵𝐵11 𝑃𝑃5 = 𝐴𝐴11 + 𝐴𝐴12 𝐵𝐵22 𝑃𝑃6 = 𝐴𝐴21 − 𝐴𝐴11 𝐵𝐵11 + 𝐵𝐵12 𝑃𝑃7 = 𝐴𝐴12 − 𝐴𝐴22 𝐵𝐵21 + 𝐵𝐵22 𝐶𝐶11 = 𝑃𝑃1 + 𝑃𝑃4 − 𝑃𝑃5 + 𝑃𝑃7 𝐶𝐶12 = 𝑃𝑃3 + 𝑃𝑃5 𝐶𝐶21 = 𝑃𝑃2 + 𝑃𝑃4 𝐶𝐶22 = 𝑃𝑃1 + 𝑃𝑃3 − 𝑃𝑃2 + 𝑃𝑃6
- 13. 区間という考え方 • 実数のすべてを浮動小数点数で表現できない –𝜋𝜋, 𝑒𝑒, 0.1 • 実数を包含する区間を浮動小数点数で表現することは 可能 –下端・上端型 –中心・半径型
- 15. 区間演算という考え方 • 2,4 + −3,2 = −1,6 • 𝑎𝑎, 𝑏𝑏 と 𝑐𝑐, 𝑑𝑑 に関して，この和を考える 𝑎𝑎, 𝑏𝑏 + 𝑐𝑐, 𝑑𝑑 = 𝑎𝑎 + 𝑐𝑐, 𝑏𝑏 + 𝑑𝑑 が成立するが，数値計算では？ 𝑎𝑎, 𝑏𝑏 + 𝑐𝑐, 𝑑𝑑 ⊆ 𝑓𝑓𝑓𝑓𝛻𝛻(𝑎𝑎 + 𝑐𝑐), 𝑓𝑓𝑓𝑓∆(𝑏𝑏 + 𝑑𝑑)
- 16. 区間演算という考え方 • 𝑎𝑎, 𝑏𝑏 と 𝑐𝑐, 𝑑𝑑 に関して，この差を考える 𝑎𝑎, 𝑏𝑏 − 𝑐𝑐, 𝑑𝑑 = 𝑎𝑎 − 𝑑𝑑, 𝑏𝑏 − 𝑐𝑐 が成立するが，数値計算では？ 𝑎𝑎, 𝑏𝑏 − 𝑐𝑐, 𝑑𝑑 ⊆ 𝑓𝑓𝑓𝑓𝛻𝛻(𝑎𝑎 − 𝑑𝑑), 𝑓𝑓𝑓𝑓∆(𝑏𝑏 − 𝑐𝑐)
- 17. 区間演算という考え方 • 𝑎𝑎, 𝑏𝑏 と 𝑐𝑐, 𝑑𝑑 に関して，この積を考える 𝑎𝑎, 𝑏𝑏 × 𝑐𝑐, 𝑑𝑑 = min 𝑎𝑎𝑎𝑎, 𝑎𝑎𝑎𝑎, 𝑏𝑏𝑏𝑏, 𝑏𝑏𝑏𝑏 , max(𝑎𝑎𝑎𝑎, 𝑎𝑎𝑎𝑎, 𝑏𝑏𝑏𝑏, 𝑏𝑏𝑏𝑏) が成立するが，数値計算では？ 𝑎𝑎, 𝑏𝑏 × 𝑐𝑐, 𝑑𝑑 ⊆ 𝑓𝑓𝑓𝑓𝛻𝛻(min 𝑎𝑎𝑎𝑎, 𝑎𝑎𝑎𝑎, 𝑏𝑏𝑏𝑏, 𝑏𝑏𝑏𝑏 ), 𝑓𝑓𝑓𝑓∆(max(𝑎𝑎𝑎𝑎, 𝑎𝑎𝑎𝑎, 𝑏𝑏𝑏𝑏, 𝑏𝑏𝑏𝑏)) 入力に制約があれば，もっと簡単に計算ができることがある
- 19. 精度保証付き数値計算 ある値を計算する if 符号が正 正の場合の処理 elseif 符号が負 負の場合の処理 else ゼロの場合の処理 if 区間の下端が正 正の場合の処理 elseif 区間の上端が負 負の場合の処理 else ？？ • 単に警告として捉える • 高精度計算・有利数演算に移行 わからないとき
- 21. 精度保証法の例 • 計算値（数値計算で評価） • 𝛼𝛼 ≔ 𝑎𝑎𝑥𝑥 − 𝑐𝑐𝑥𝑥 𝑏𝑏𝑦𝑦 − 𝑐𝑐𝑦𝑦 − 𝑎𝑎𝑦𝑦 − 𝑐𝑐𝑦𝑦 𝑏𝑏𝑥𝑥 − 𝑐𝑐𝑥𝑥 • ある値（数値計算で評価） • 𝛽𝛽 ≔ 3𝑢𝑢 𝑎𝑎𝑥𝑥 − 𝑐𝑐𝑥𝑥 𝑏𝑏𝑦𝑦 − 𝑐𝑐𝑦𝑦 + 𝑎𝑎𝑦𝑦 − 𝑐𝑐𝑦𝑦 𝑏𝑏𝑥𝑥 − 𝑐𝑐𝑥𝑥 + 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 • if文の条件として 𝛼𝛼 > 𝛽𝛽が真ならば𝛼𝛼の符号は正しい 正の正規化数の最小数 倍精度：2-1022 倍精度：2-53
- 22. 精度保証法の例 • 精度保証は計算コストと区間幅にトレードオフの関係がある（図の幅はコスト） • イメージ例 – 手法A[1,2] – 手法A[-0.3,0.2], 手法B[-0.1,-0.01] • 適応的（adaptive）な手法を構築して，なるべく計算時間がかからないようにする • フィルタリングとも呼ぶ（static, semi-static, dynamic） 手法A 手法B 手法C（完全精度計算）
- 23. 行列の正則性（計算機援用証明） • 行列の正則性を検証したい –行列式が０ではない • 行列式の計算中に丸め誤差が発生しませんか？ –逆行列が求まる • 逆行列を正しく求められますか？ • 逆行列であることはどうやってわかりますか？ –固有値や特異値を調べる • 同様の問題
- 24. 計算機援用証明：行列の正則性 • 行列𝐴𝐴 に対してある行列Rが存在し， 𝑅𝑅𝑅𝑅 − 𝐼𝐼 < 1を満たすならば𝐴𝐴は正則である ・ G ≔ RA − Iとする． 𝑅𝑅𝑅𝑅 − 𝐼𝐼 < 1とする．このときI + G が正則でないとすると， I + G 𝑥𝑥 = 𝟎𝟎となるベクトル𝑥𝑥 ≠ 𝟎𝟎が存在する． • G𝑥𝑥 = −𝑥𝑥に両辺にノルムをとると 𝐺𝐺𝐺𝐺 = 𝑥𝑥 • これに左辺はノルムで分離をして 𝐺𝐺 𝑥𝑥 ≥ 𝑥𝑥 • ||G|| ≧ 1となり矛盾が生じる • I+Gが正則だからRAが正則，これはＡが正則 単位行列
- 25. 計算機援用証明：行列の正則性 • 行列𝐴𝐴 に対してある行列Rが存在し， 𝑅𝑅𝑅𝑅 − 𝐼𝐼 < 1を満たすならば𝐴𝐴 は正則である ・行列RはAの近似逆行列でよい – 数値計算の誤差がある程度許容できる • 𝑅𝑅𝑅𝑅 − 𝐼𝐼 の計算にも丸め誤差が起きるのでは？ • 𝑅𝑅𝑅𝑅 − 𝐼𝐼 の上限をうまく計算する • 今回は最大値ノルムを使用します 単位行列 𝐴𝐴 ∞ = 𝑠𝑠𝑠𝑠𝑠𝑠 𝑥𝑥 ∞≠0 𝐴𝐴𝑥𝑥 ∞ 𝑥𝑥 ∞
- 26. 計算機援用証明：行列の正則性 𝐴𝐴 ∞ = 𝑠𝑠𝑠𝑠𝑠𝑠 𝑥𝑥 ∞≠0 𝐴𝐴𝑥𝑥 ∞ 𝑥𝑥 ∞ A = −2 4 2 3 𝐴𝐴 ∞ = 6 例： 𝐴𝐴 ∞ = 𝑚𝑚𝑚𝑚𝑚𝑚𝑖𝑖 � 𝑗𝑗=1 𝑛𝑛 𝑎𝑎𝑖𝑖𝑖𝑖 数値計算では足し算の計算に誤差がある 上限を知りたければ上向きの丸めで計算すればよい 𝑥𝑥 ∞ = 𝑚𝑚𝑚𝑚𝑚𝑚𝑖𝑖 𝑥𝑥𝑖𝑖 𝑥𝑥 ∞ = 3 𝑥𝑥 = (1,2, −3)𝑇𝑇
- 28. 連立一次方程式の 精度保証付き数値計算 • 連立一次方程式の精度保証付き数値計算のイメージ 𝐴𝐴𝐴𝐴 = 𝑏𝑏 近似解を𝑥𝑥𝑥とする．どんな数値解法で求めた結果でもよい 𝑥𝑥′ − 𝑥𝑥 ≤ 𝑟𝑟となる𝑟𝑟を求める 今回は最大値ノルムを使います 近似解𝑥𝑥𝑖𝑖 ′ 真の解の存在範囲
- 29. 理論の紹介 • 近似解を𝑥𝑥𝑥とする． • 𝑅𝑅𝑅𝑅 − 𝐼𝐼 < 1のときに • ||𝑥𝑥 − 𝑥𝑥′ || ≤ 𝑅𝑅(𝐴𝐴𝑥𝑥′−𝑏𝑏) 1− 𝑅𝑅𝑅𝑅−𝐼𝐼 ≤ 𝑅𝑅 𝐴𝐴𝑥𝑥′−𝑏𝑏 1− 𝑅𝑅𝑅𝑅−𝐼𝐼 が知られている • 前回の内容で ||𝑥𝑥 − 𝑥𝑥′ || ≤ 𝐴𝐴−1 𝐴𝐴𝑥𝑥′ − 𝑏𝑏 を教え，これから 𝐴𝐴−1 の上限について考える 本日はこちらを紹介
- 30. 理論の紹介 𝐴𝐴−1 の上限について考える(𝐺𝐺 = 𝑅𝑅𝑅𝑅 − 𝐼𝐼) 𝐴𝐴−1 = 𝐴𝐴−1 𝑅𝑅−1 𝑅𝑅 = (𝑅𝑅𝑅𝑅)−1 𝑅𝑅 = (𝐼𝐼 + 𝐺𝐺)−1 𝑅𝑅 ≤ (𝐼𝐼 + 𝐺𝐺)−1 𝑅𝑅 ≤ 𝑅𝑅 1 − 𝐺𝐺 𝐼𝐼 = 𝐼𝐼 + 𝐺𝐺 −1 𝐼𝐼 + 𝐺𝐺 𝐼𝐼 + 𝐺𝐺 −1 = 𝐼𝐼 − (𝐼𝐼 + 𝐺𝐺)−1 𝐺𝐺 𝐼𝐼 + 𝐺𝐺 −1 ≤ 𝐼𝐼 + (𝐼𝐼 + 𝐺𝐺)−1 𝐺𝐺 𝐼𝐼 + 𝐺𝐺 −1 ≤ 1 1 − 𝐺𝐺
- 31. MATLABコードによる実装 • ここはデモをしながら説明します． の上限をどのように計算するかです． • ノルムは最大値ノルムとします． ||𝑥𝑥 − 𝑥𝑥′ || ≤ 𝑅𝑅(𝐴𝐴𝐴𝐴𝐴−𝑏𝑏) 1− 𝑅𝑅𝑅𝑅−𝐼𝐼 ≤ 𝑅𝑅 𝐴𝐴𝐴𝐴𝐴−𝑏𝑏 1− 𝑅𝑅𝑅𝑅−𝐼𝐼
- 32. 大規模数値計算環境での計算 • 線形計算をスーパーコンピュータで行う • 大規模分散並列環境の関数は – PBLAS – ScaLAPACK • に定められたものがあり， – 線形方程式 pdgesv – 行列積 pdgemm • のルーチンを使用する
- 33. 大規模数値計算環境での計算 • 丸めモードの変更はCPUに対して制御した． • スパコンの場合，アシスタントコアを使用して計算する場合がある MPIを使用するとき • MPI_Reduce • MPI_Allreduce などで総和を得る場合，アシスタントコアで計算されることもある （メーカーさんとお話しすることがとても大事です） • 最近点丸めを用いた精度保証法の研究もいろいろとあります．
- 34. 計算量の比較 • 計算コスト：行列の次元をnとする • LU分解：約2/3 n3回の計算 • 行列積：約2n3回の計算 • 逆行列：約2n3回の計算 • 近似計算： 約2/3 n3回の計算 • 精度保証付き数値計算：約6n3回の計算 • 精度保証付き数値計算は近似計算の約9倍のコスト
- 35. 大規模数値計算環境での 計算結果（紹介） • 京コンピュータ（理研）での計算時間（秒） サイズ ノード数 近似計算 精度保証 比 300,000 400 631 4474 7.07 600,000 1600 1440 9116 6.32 1,200,000 6400 3575 19066 5.33 2,400,000 25600 10025 40827 4.07 ノード数＝MPI並列数
- 36. 大規模数値計算環境での 計算結果（紹介） • FX100（名古屋大学）での計算時間（秒） サイズ ノード数 近似計算 精度保証 比 120,000 9 111 569 5.0 240,000 36 239 1137 4.7 360,000 81 392 1768 4.5 480,000 144 583 2402 4.1 2×ノード数＝MPI並列数
- 37. 大規模数値計算環境での 計算結果（紹介） • 不老（名古屋大学）での計算時間（秒） サイズ ノード数 近似計算 精度保証 比 40,000 4 14 67 4.7 80,000 16 33 143 4.3 160,000 64 81 309 3.7 320,000 256 217 673 3.1 4×ノード数＝MPI並列数 計算コストではなく，各関数の性能も非常に大事
- 38. 余談 • GPU A100の事例・計算時間（秒） • MATLAB R2021を使用 • gpuArrayを使用 次元 A¥b inv(A) AB 10000 0.49 1.07 0.10 20000 1.18 3.51 0.88 30000 1.93 8.23 3.74 40000 3.43 16.5 9.35
- 39. 使用メモリは？ • 連立一次方程式は係数行列を保存する • 近似計算は？ – もとの行列を保持しなくてよい・・・行列１つ – もとの行列は取っておきたい・・・・行列２つ • 精度保証は？ – 逆行列と途中の計算（RA-I）・・・・行列４つ
- 40. 大規模数値計算環境での 計算結果（紹介） • 京コンピュータ（理研）での計算時間（秒） サイズ ノード数 （近似） 計算時間 ノード数 （精度 保証） 計算時間 比 （ノード 積） 300000 100 2203 400 4470 8.12 600000 400 4513 1600 9116 8.07 1200000 1600 9624 6400 19066 7.92 2400000 6400 21843 25600 40827 7.47
- 41. 大規模数値計算環境での 計算結果（紹介） • FX100（名古屋大学）での計算時間（秒） サイズ ノード数 （近似） 計算時間 ノード数 （精度 保証） 計算時間 比 （ノード 積） 120000 9 483 36 568 4.97 240000 36 876 144 1136 5.19 360000 81 1309 324 1768 5.40 480000 144 1802 576 2402 5.33
- 42. 本日のまとめ • 精度保証付き数値計算の紹介 • 区間および区間演算 • 行列の正則性の計算機援用証明とは • 連立一次方程式の数値解に対する精度保証数値計算の一例 • スパコンを使用した精度保証の事例の紹介
- 43. 本日の参考文献 • 点と有向直線の位置関係に関する浮動小数点フィルタ • K. Ozaki,T. Ogita, F. Bunger, S. Oishi, S.M. Rump: • Simple floating-point filters for the two-dimensional orientation problem, • BIT Numerical Mathematics,Vol. 56(2): 729-749, 2016. • 連立一次方程式の精度保証 • S. Oishi and S.M. Rump, • Fast verification of solutions of matrix equations, • Numer. Math., 90(4):755–773, 2002. • 大規模計算と精度保証付き数値計算 • K. Ozaki,T.Terao,T. Ogita,T. Katagiri, • Verified numerical computations for large-scale linear systems, • Applications of Mathematics, 66(2): 269-285, 2021.
- 44. 精度保証付き数値計算の文献 • 大石進一編： • 精度保証付き数値計算の基礎， • コロナ社，2018. • S.M. Rump: • Verification methods: Rigorous results using floating-point arithmetic, • Acta Numerica, 19:287–449, 2010. • 尾崎・荻田（分担）： • ソフトウェア自動チューニング:科学技術計算のためのコード最適化技術 ， • 森北出版，2021.
- 45. 精度保証付き数値計算の ライブラリ INTLAB • ハンブルク工科大学のSiegfried M. Rump先生が開発されているライブラリ • MATLAB / Octave 上で動く • https://www.tuhh.de/ti3/rump/intlab/ kv - C++による精度保証付き数値計算ライブラリ • 早稲田大学柏木雅英先生が開発されているライブラリ • 精度保証付き数値計算を行うためにC++で作成したライブラリ群 • http://verifiedby.me/kv/ • 加えて柏木先生のページは情報の宝庫