高速な倍精度指数関数expの実装

高速な倍精度指数関数expの実装 Cybozu Labs 2011/10/1 光成滋生 x86/x64最適化勉強会2

内容fmath.hppの紹介最終実装コードベンチマークexpの性質パラメータの決めかた2011/8/6 2 /20

fmath.hppfloatに対する高速なlogとexp VCやgccのライブラリに比べて数倍速い http://github.com/herumi/fmath/ http://homepage1.nifty.com/herumi/soft/fmath.htmlexp(float)のアルゴリズムは情報科学苦手の会で話したことがある 今回のはそれのexp(double)版で，かつ改良版2011/8/6 3 /20

最終実装コード今回の目標はこのコードの意味を理解すること union di { uint64_t i; double d; }; double expd(double x) { di di; di.d = x * 2954.639443740597 + 6755399441055744ULL; uint64_t iax = tbl[di.i & 2047]; double t = (di.d - 6755399441055744ULL) * 0.0003384507717577858 - x; uint64_t u = ((di.i + 2095104) >> 11) << 52; double y = (3.0000000027955394 - t) * (t * t) * 0.16666666685227835 - t + 1; di.i = u | iax; return y * di.d; }2011/8/6 4 /20

ベンチマーク3種類用意した 単純和 double sum = 0; for (double x = 0; x < 1; x += 1e-8) { sum += fmath::expd(x); } 配列版 void fmath_expd(double *px, int n){ for (int i = 0;i < n; i++) { px[i] = fmath::expd(px[i]); } } SSE版（配列版fmath_expdをSSEで実装したもの） fmath::expd_v2011/8/6 5 /20

単純和のベンチマーク Core i7-2600 3.4GHz + 64-bit (Linux/Windows7)  結果はどれも同一のsum=171828182.101727を出力一つの関数あたりの処理クロック（clk） gcc 4.4.5 gcc 4.5.1 VC10 icc 12.0.5 std::exp 77.584 80.432 35.060 31.352 fmath::expd 12.680 13.067 12.842 11.582 gccは相変わらず遅い2011/8/6 6 /20

配列版のベンチマーク(1/2)誤差と速度の評価(gcc 4.4.5) 平均0, 標準偏差1の正規分布から10^6個生成した乱数 Taylor, Remezは岡崎直観さんの実装 cf. http://www.chokkan.org/blog/archives/352 expdの精度はRemez9次より良くて11次より悪い とはいえdoubleの精度は約16桁なのでかなりよい関数 clk 最大誤差二乗平均誤差 std::exp 67.17 0 0 配列版 fmath::expd 11.70 6.575812e-16 1.117645e-16 （速度不利） Taylor 11th 36.97 8.792464e-15 1.372958e-15 Remez 9th 16.29 1.909579e-14 9.909547e-15 Remez 11th 19.35 2.571683e-16 6.146323e-17 SSE版 fmath::expd_v 8.27 6.575812e-16 1.117645e-16 （速度有利）2011/8/6 7 /20

配列版のベンチマーク(2/2)コンパイラによる差@Core i7-2600 3.4GHz(64bit) 関数 gcc 4.4.5 VC10 icc 12.0.5 std::exp 67.17 35.45 11.83 fmath::expd 11.70 14.89 13.43 Taylor 11th 36.97 42.40 34.73 Remez 9th 16.29 15.34 15.63 Remez 11th 19.35 20.91 18.93 fmath::expd_v 8.27 7.20 8.24 iccすげー！内部でベクトル版expを利用結論 計算主体なら，とりあえずicc使っとけ2011/8/6 8 /20

exp(��)の性質和のexpはそれぞれのexpの積 exp �� + �� = exp �� exp(��)テイラー展開 �� 2 �� 3 �� 4 exp �� = 1 + �� + + + + … 2 6 24戦略その1 入力値��を，テーブル引きするための大雑把な値��とテイラー展開するための小さい値��にわける �� = �� + �� exp �� = exp �� exp(��) テーブル引きテイラー展開2011/8/6 9 /20

テイラー展開の項数どこまで計算するか? �� 2 �� 2 �� 3 �� 2 �� 3 �� 4 1 + ��, 1 + ,1 + + ,1 + + + ,… 2 2 6 2 6 24 2次ならaddが1回, mulが2回 3次はaddが3回, mulが3回 4次はaddが4回, mulが4回, 5次は... 精度からの要請 doubleの精度は53bit(1e-16のオーダー) ��が12bitなら�� 4 /24は12*4+4=52なので3次でよさそう 4次までするなら��は9bitでよい(�� 5 /120→9*5+7=52) 今回は3次を選択2011/8/6 10 /20

��を整数と小数部分にわける�� = round(��) + (�� – round(��)) round(��) = ��に一番近い整数 �� = round(��)とおけば �� = �� − ��で �� ≤ 1/2 �� ≤ 1/212 にするには ��の代わりにx = x * 2048を考える ��′ = ��′ + ��′とすると|��′| ≤ 1/2で �� = round(�� ∗ 2048) / 2048 + ��′/2048 input : x x = x * 2048 s = round(x) s = s / 2048 t = x – s // このとき x = s + tで|t|<=1/40962011/8/6 11 /20

テーブル引き�� = exp �� exp �� の exp �� の部分��は整数�� / 2048の形で��はどれぐらい? exp(��) = 0となる��はlog(DBL_MIN)=-708.396 exp(��) = Infとなる��はlog(DBL_MAX) = 709.782とするとテーブルエントリサイズは (709 + 708) ∗ 2048 = 2.9 ∗ 106 でかすぎ2011/8/6 12 /20

敗因を考えるexp(��/2048), ��は整数を求めるのは難しかった 2の巾ならシフトと組み合わせれば簡単なのに 無理やり2の巾に持っていこう ��と��への分割方法を見直すと2巾である必然は無い ��や��が整数ではないしexp ��/′2000に近い値′ = 2^(��/2^整数 ) の形にもっていけないか exp(��/��) = 2^(��/2�� ) → 2�� = �� log 2 �� = 2048のとき�� log 2 = 1419.5 ということは�� = 2048/(log 2)にすれば�� = 122011/8/6 13 /20

テーブル引き再度�� = 2048/log2とすると exp �� ⁄ �� = 2^(��/2048)こうすれば �� = 2048(��/2048) + (�� % 2048) = 2048��1 + ��2 としてexp(��/��) = 2^(��1 ) + 2_^(��2 /2048))テーブルエントリは2.9*10^6から2048に減った これなら使える2011/8/6 14 /20

ここまでのおさらい��をα 倍して整数部と小数部に分けて整数部は表引き，小数部は3次までのテイラー展開 input : x x = x * α; // α = 2048 / log 2 = 2954.639... s = round(x) s = s * (1/α); t = x – s; // exp(x) = exp(s) exp(t)残りはround(��)の処理方法2011/8/6 15 /20

浮動小数点数を整数に丸めるFPU命令を使う fistp コントロールレジスタに依存（場合によっては変更の必要あり）SSE命令を使う cvtsd2si(double→int), cvtpd2dq（doublex2→intx2） コントロールレジスタに依存fisttp, cvttsd2si, cvttpd2dq 切り捨て専用なので直近に丸めるのとは違うSSE4.1命令を使う roundpd, roundps CPU判別が必要で今回は保留2011/8/6 16 /20

浮動小数点数のトリックを使う（1/2）doubleのフォーマット符号ビットs（1bit）指数部e（11bit）仮数部f（52bit） �� = −1 �� × 2��−1023 × (1 + �� ⁄252 )すごく大きい値を足すと仮数部が丸められるたとえば12.25は 12.25 = 23 ∗ 1.53125 = 23 ∗ (1 + 17/25 )252 を足すと 12.25 + 252 = 252 ∗ 1 + 2.72. . 10−15 = 252 ∗ (1 + 12⁄252 ) 仮数部が丸められて整数になってる2011/8/6 17 /20

浮動小数点数のトリックを使う（2/2）今回の��は負の数にもなるので補正項が必要 252 ではなく252 + 251 を足すdoulbeのビットパターンを取り出すにはunionを使う strict aliasingルールを破らないように（厳密には?） union di { double d; uint64_t i; }; uint64_t roundC(double x) { di di; di.d = x + (3LL << 51); return di.i & mask(52); // 52bitマスク }2011/8/6 18 /20

最終コードマジックナンバーの意味 double expd(double x) { α倍 round処理 di di; di.d = x * (2048 / log(2)) + (3ULL << 51); もとに戻して1/α倍 uint64_t iax = tbl[di.i & 2047]; 2巾の表引き double t = (di.d – (3ULL << 51)) * (log(2) / 2048) - x; uint64_t u = ((di.i + 2095104) >> 11) << 52; 2巾の簡単な方 double y = (3.0 - t) * (t * t) * (1.0/6) - t + 1; di.i = u | iax; テイラー展開 return y * di.d; }2011/8/6 19 /20

おまけ（少しでも誤差を減らす）テイラー展開の係数 1 + �� + �� 2 ⁄2 + �� 3 ⁄6 = 1 + �� + 1⁄6 �� 2 × 3 + �� で 1/6の代わりに0.16666666685227835 3.0の代わりに3.0000000027955394を利用誤差がほんの少し減る（RMSが3%） 区間[0, t]でのexp(x)との二乗平均誤差 �� = 0 exp �� − �� + �� + �� 2 + �� 3 2 �� が最小になるように �� = = = =0 �� を解き, �� = log(2)/4096を代入して求めた2011/8/6 20 /20

https://twitter.com	7
http://a0.twimg.com	5
http://twitter.com	1
https://si0.twimg.com	1

高速な倍精度指数関数expの実装

by MITSUNARI Shigeo on Oct 01, 2011

Accessibility

Categories

Upload Details

Usage Rights

4 Embeds 14

Statistics

高速な倍精度指数関数expの実装 Presentation Transcript