世界最速の正規表現JITエンジンの実装

世界最速の正規表現
JITエンジンの実装
Ryoma Sin’ya (@sinya8282)
サイボウズ・ラボユース最終成果報告会
2012/3/26 at 秋葉原ダイビル

Monday, March 26, 12

皆さん
正規表現は
お好きですか？


僕は正規表現が
好きじゃありません


僕は正規表現が
好きじゃありません
愛してます


% whoami
• 新屋良磨 (@sinya8282)
• 東京工業大学修士一年
• 一期生では最年長
• 精神は林君が最年長説

• 好きな表現は正規表現
• 好きな言語は正規言語
• 好きな曲は


% whoami
• 新屋良磨 (@sinya8282)
• 東京工業大学修士一年
• 一期生では最年長
• 精神は林君が最年長説

• 好きな表現は正規表現
• 好きな言語は正規言語
• 好きな曲は
• Regular Expression
(by Broken Drum)


サイボウズ・ラボユース
ではなにを？
• 正規表現エンジンの実装, 高速化
• DFAをJITして高速化 (実行時コード生成)
• オートマトンのデータ並列実行による高速化
• 正規表現を利用したツール/システムの開発
• テキスト検索(grep)
• 正規表現変換ツール
• 正規表現の拡張演算子等
• エンジンはgithubで公開 → Regen(レーゲン)


なぜ正規表現エンジン？
• 正規表現の歴史は古い。種類(亜種)も多い

I define UNIX as “30 definitions of regular
expressions living under one roof.” — Don Knuth

• 実装も多い(本当に多い)
• GNU grep, Google RE2, 鬼車, PCRE, TRE,,,,
• 車輪の再発明？


なぜ正規表現エンジン？
• 正規表現の歴史は古い。種類(亜種)も多い

I define UNIX as “30 definitions of regular
expressions living under one roof.” — Don Knuth

• 実装も多い(本当に多い)
• GNU grep, Google RE2, 鬼車, PCRE, TRE,,,,
• 車輪の再発明？

そうだね。ただし最速の車輪だ。— Ryoma Sin’ya


なにが最速？
• 「正規表現マッチング」が最速
• 「DFAの状態遷移」が最速 (Not文字列探索)
• DFAをJITすることで状態遷移を高速化
• データ並列マッチングをサポート
• なにと比較して？
• GoogleRE2, GNU grep, cgrep 等のDFAベースエン
ジンと比較して高速(RE2の6~10倍)


なにが最速？
• 「正規表現マッチング」が最速
• 「DFAの状態遷移」が最速 (Not文字列探索)
• DFAをJITすることで状態遷移を高速化
• データ並列マッチングをサポート
• なにと比較して？
• GoogleRE2, GNU grep, cgrep 等のDFAベースエン
ジンと比較して高速(RE2の6~10倍)

詳細はポスターにも!!

並列化と実行時コード生成を用いた正規表現エンジン「Regen」
:
正規表現マッチングの高速化 &そのツール群の紹介
新屋良磨 † 光成滋生 †† 佐々政孝 † Regen でサポートしてる正規表現の拡張演算子, 及びツール群を紹介する.
† 東京工業大学 †† サイボウズ・ラボ株式会社課題や機能についてなど, 多くの意見が聞きたい.

我々は並列化と実行時コード生成を用いた高速な正規表現エンジン Regen を開発した. 拡張演算子
Regen における設計方針や特長を紹介し, 既存実装との違いを説明する.
✦ 積集合 ✦ 弱後方参照
Regenのマッチング内部動作 • /R1 &R2 /→ R1とR2両方にマッチ •PCRE等で使える後方参照の制限版
✦ 対称差 •有限パターンの参照なら区別できる.
•/R1&&R2/→R1かR 一方のみにマッチ •/(1|2|30?) = (1)/ → 恒等式
[01] 1 0 1
NFA DFA
•無限パターン(繰り返し)は区別しない.
2
1
変換
1
✦ 補集合
•/!(R1)/→R1 にマッチしない列にマッチ •/(1|2+) = (1)/ →/1 = 1|2+ = 2 + /
q0 q1 q0 q1
0 0

パース&変換 JIT (Χbyak)
正規表現変換変換 ✦ 逆順 ✦ 上限付き再帰
/(0 ⇤ 1) + /
0
•/ ⇠ (R1)/→R1のマッチ文字列の逆文字列 •PCRE等で使える再帰(?R)の制限版
•/a@b@c/→“aabcbabcc”
1
文字列に対して ✦ 置換, シャッフル, 非強欲な繰り返し...
•紹介してる演算全てDFAで実現 •/(@{0, 2})/→ “()”, “(())”, “((()))”
q1 1
0 0 q2 JIT マッチング開始
1 (Χbyak)
入力: 正規表現&文字列
q0
SSFA (並列実行可能なDFA) 正規表現から受理文字列出力正規表現からDFA(図)出力
1

Regen内部のコード生成(JIT)部抜粋コード生成(JIT)による性能向上 Example: 論理式を充足する解を全列挙 q7
0 2
Google RE2 Regen Regen JIT (x1 _ x2 _ x3 ) ^ (x1 _ x2 _ x3 ) 1
3 q9
0
q12
q4
3GB/sec 3
Fast 2
2
Throughput

2.5GB/sec 2
3
2GB/sec 3 q10
0
q13
1
1.5GB/sec 0
q1
1 3 q15
0
1GB/sec q0 1 0 q5 1
Slow q2
q14
0.5GB/sec 2 3

正規表現で
2 2
3
0GB/sec 3
最適化が効かないパターン最適化が効くパターン SATを解く! q6
C++ JIT Library /(([02468][13579]){5})*/ /(0123456789)*/ q3 2
q11
1
Χbyak 0 q8
0

並列マッチングによる性能向上並列化のオーバーヘッド 1

正規表現: /([0-4]{5}[5-9]{5})*/, 入力: 1GB 正規表現: /(([02468][13579]){5})*/, 入力: 100KB~1000KB
実装済みツール群今後の課題
[GB/sec]
✦ 正規表現Lib: Regen ✦ 他アーキテクチャ対応
• • 今はX86-64のみ(Χbyak)
20 Slow ベンチマークA ベンチマークB 2.40 msec
8,000K
Google RE2 を参考
• • LLVM? (抽象化で性能落ちない?)
Fast
Google RE2 0.263 0.264
17.5 7,200K
Clock Cycle

Submatch 未対応
Regen O0 0.449 0.448
1.92 msec
Throughput

15 6,400K
Regen O3 1.521 2.761

5,600K
✦ 正規表現変換系: recon ✦ Submatch(キャプチャ)の対応
• • 現在でもマッチした文字列全体の取得は可能.
12.5 1.44 msec
4,800K
10 正規表現 to 正規表現
• • マッチした文字列の部分的な取得は未対応
4,000K
0.96 msec
Fast
正規表現 to DFA(図)
7.5 3,200K

•
2,400K

正規表現 to 受理文字列 ✦ 性能を生かしたツール/システムの考案
5 0.48 msec
1,600K
2.5
Slow 800K
grep: regengrep
✦
•
0 0K
[KB]
JIT版は高速.
100 200 300 400 500 600 700 800 900 1000
1 2 3 4 5 6

•
Input size
Number of Threads
Regen Regen JIT Read only
1スレッド
1スレッドJIT
2スレッド
2スレッドJIT
まだ開発中(速度,機能)

Thursday, January 5, 12
Thursday, January 5, 12

1 2 3 4 5 6

gen 0.449 0.897 1.327 1.759 2.236 2.681

gen JIT 2.321 4.550 6.917 9.167 11.27
Text 13.59

ad 6.041 12.11 16.60 18.37 18.89 19.17

実装の詳細は色々なとこで
• 「並列化と実行時コード生成を用いた正規表現
マッチングの高速化」
• 日本ソフトウェア科学会第28回大会 (書き直し中)
• 第53回プログラミング・シンポジウム - 予稿, ポスター

• 「正規表現とJITと並列化とベンチマーク」
• x86/x64最適化勉強会1 - スライド

• 「正規表現の限界」
• Shibuya.pm ~夏の正規表現祭り~ - スライド


実装の詳細は色々なとこで
• 「並列化と実行時コード生成を用いた正規表現
マッチングの高速化」
• 日本ソフトウェア科学会第28回大会 (書き直し中)
• 第53回プログラミング・シンポジウム - 予稿, ポスター

• 「正規表現とJITと並列化とベンチマーク」
• x86/x64最適化勉強会1 - スライド

• 「正規表現の限界」
• Shibuya.pm ~夏の正規表現祭り~ - スライド

じゃあ今日はなにを喋る?

オリジナルな成果
• DFA-JITによる正規表現マッチングの高速化
• JIT特有の最適化等
• データ並列マッチングによる高速化
• オートマトンを拡張

• 正規表現の拡張演算の提案/実装
• 弱後方参照, 上限付き再帰, 非強欲繰り返し(DFAver)


オリジナルな成果
• DFA-JITによる正規表現マッチングの高速化
• JIT特有の最適化等
• データ並列マッチングによる高速化
• オートマトンを拡張

• 正規表現の拡張演算の提案/実装
• 弱後方参照, 上限付き再帰, 非強欲繰り返し(DFAver)

全部喋りたい...

正規表現エンジン
開発過程を時系列で



2011年
3月 4 5 6 7 8 9 10 11 12


上京。
この時、正規表現(DFA)をJIT
する方法で悩んでいた。
(自前, gcc, asm, llvm, libjit, gnu lightning...)

2011年
3月 4 5 6 7 8 9 10 11 12


ラボユース採択(神タイミング)。

2011年
3月 4 5 6 7 8 9 10 11 12


C++製JITライブラリXbyakで
正規表現JIT。動いた。

・X86最適化の権化、光成さんの
熱血指導の賜物?

2011年
3月 4 5 6 7 8 9 10 11 12


DFA-JIT

熱血指導の賜物?

2011年
3月 4 5 6 7 8 9 10 11 12


DFA-JIT
エントリー
(レジスタ調整,初期状態へジャンプ)
状態コード詳細 (24 Byte)
状態0のコー
状態1のコー cmp rdi,rsi #終端判定
je 0x120005030
movzx r10,BYTE PTR [rdi]
inc rdi
状態遷移テーブル
熱血指導の賜物?jmp QWORD PTR [rdx
+r10*8]

•コード生成は JIT ライブラリ Χbyak を使用.
2011年
3月
•4 5 サイボウズ・ラボ光成氏が開発.12
Χbyak:
6 7 8 9 10 11


正規表現のデータ並列マッチン
グを実装。(オートマトンを拡張)

・巨大なテキストの全体マッチング
では台数効果が見込める。
(詳細はポスターで)

2011年
3月 4 5 6 7 8 9 10 11 12


データ並列マッチング

(詳細はポスターで)

2011年
3月 4 5 6 7 8 9 10 11 12


データ並列マッチング
マッチングの並列化 = 状態遷移の並列化
a q1 b q3 a q1 a q2
q0
•このような状態遷移を
a
a ? b 結果1 a
?
(詳細はポスターで) q2
? ? 結果2
2011年
•のように文字単位で並列に実行
3月 4 5 6 7 8 9 10 11 12


最適化、議論、実装、
イベント、論文、学会....。

・Shibuya.pm「夏の正規表現祭り」(thanks! 竹迫さん)
・x86/x64最適化勉強会1 (thanks! 光成さん)

・日本ソフトウェア科学会第28会大会@沖縄

2011年
3月 4 5 6 7 8 9 10 11 12


最適化、議論、実装、
イベント、論文、学会....。
・夏休み(学生)ということで、週3で
・Shibuya.pm「夏の正規表現祭り」(thanks! 竹迫さん)
サイボウズ・ラボに出勤。開発。
・x86/x64最適化勉強会1 (thanks! 光成さん)
・ラボメンバーさんとの議論が楽しい!!!
・日本ソフトウェア科学会第28会大会@沖縄
・最適化/並列化/新機能等々,,, 色々る。

2011年
3月 4 5 6 7 8 9 10 11 12


ひたすら正規表現
と戯れる。

2011年
3月 4 5 6 7 8 9 10 11 12


と戯れる。
・正規表現の新しい演算を考える等(ポスター)

2011年
3月 4 5 6 7 8 9 10 11 12


✦ 弱後方参照
•有限パターンの参照なら区別できる.
•/(1|2|30?) = (1)/ → 恒等式
•無限パターン(繰り返し)は区別しない.
と戯れる。 = 2 + /
•/(1|2+) = (1)/ →/1 = 1|2+
・正規表現の新しい演算を考える等(ポスター)
✦ 上限付き再帰
•/a@b@c/→“aabcbabcc”
2011年
•/(@{0, 2})/7→ “()”, 9 10 “((()))”
3月 4 5 6 8 “(())”, 11 12


2012年
1月 2 3


ポスター発表。
・第53回プログラミング・シンポジウム
「並列化と実行時コード生成を用いた
正規表現マッチングの高速化」
→ 入り口にあるポスターです。

2012年
1月 2 3


grepの実装。
・grep高速化のための機能追加
・固定文字列探索の高速化等(未完成)
・ライブラリAPIを整理し始める(ようやく)

2012年
1月 2 3


なう。

2012年
1月 2 3


Regen
githubで開発中!!
http://github.com/sinya8282/regen

2012年
1月 2 3


Regen
githubで開発中!!
http://github.com/sinya8282/regen

2012年
1月 2 3
そして伝説へ....

ではなにを？(再)
Regen
• 「最速の車輪を。」→


ではなにを？(再)
Regen
• 「最速の車輪を。」→

そしてこれからは？
• 欠点も多い(実装で克服できる?)
• メモリ使用量, 制限(キャプチャ,,,), 苦手な正規表現,,,

• ライブラリを完成させにゃ... (目標: Google RE2)

• 「文字列探索」以外にも正規表現を。(試行錯誤中)

世界最速の正規表現JITエンジンの実装

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to 世界最速の正規表現JITエンジンの実装

Similar to 世界最速の正規表現JITエンジンの実装 (20)

More from Ryoma Sin'ya

More from Ryoma Sin'ya (9)

Recently uploaded

Recently uploaded (15)

世界最速の正規表現JITエンジンの実装