Internship at PFI

Internship
at
Preferred Infrastructure

Sotaro Karasawa (sotarok)
Yet Another PHP Programmer

Agenda
• 目標
• 転置インデックス用ライブラリ libkorakuen
– 中間発表までのおさらい
– 新しいアプローチでの実装
– 実装にあたってのポイント
– 英語 Wikipedia のインデックス作成
– デモ
– libkorakuen のこれから
• インターンを終えて

Copyright © sotarok @ PFI.

目標
• 転置インデックス用のライブラリをつくる！
– メモリに乗り切らないような大規模で使える
– インデックスファイルを圧縮する
– Sedue で使える


転置インデックス用ライブラリ
libkorakuen

中間発表までのアプローチ

⽂書読み込み

libkorakuen
Temporary
Index
On Memory
Encoder
Index

Index



⽂書読み込み

libkorakuen
Temporary
Index
On Memory
Encoder
Index
Keyword: Document (Pos, Pos, ...), Document (Pos , ...), ...
Index
... Copyright © sotarok @ PFI.


⽂書

Temporary 書き出す libkorakuen
Index
On Memory
Encoder
Index

Index



⽂書読み込み

Temporary 書き出す libkorakuen
Index
On Memory
Encoder
Index

Index



⽂書

libkorakuen
Temporary
Index
On Memory
Encoder
Index

Index


中間発表までのおさらい
• 中間発表時
– ⼀応インデックスは作れた
– 10万⽂書程度で実験もOK

ところが...


問題点
• ⼀時インデックスに，Tokyo Cabinet を使っていた


問題点

Keyword Index
Keyword2 Index
... ...


問題点

Keyword Index Index2
Keyword2 Index
... ...


問題点

Keyword Index Index2 Index3
Keyword2 Index
... ...


問題点

Keyword Index Index2 Index3
Keyword2 Index
... ...

• メモリから⼀時インデックスに書き出すたびに
Tokyo Cabinet上での「Append」が発⽣
• 巨大なデータを扱うと途中から⼊らなくなる


アプローチを考え直す

英語のWikipediaすべてが目標

英語のWikipediaを最低目標とし
可能な限りスケールする設計

新しいアプローチ
• MapReduce 的な考え⽅！
• 途中でインデックスを作成せずにすべて読み込む
• それぞれのファイルをソートする
• 2つずつマージする
• インデックスを作成する


何も考えずにとりあえず読み込む
On Memory
keyword id doc id pos
⽂書
1 1 0
2 1 4
3 1 10
libkorakuen 4 2 0
5 2 8
1 2 12
6 3 0
... ... ...


何も考えずにとりあえず読み込む
On Memory
⽂書
1 1 0
2 1 4
3 1 10
libkorakuen 4 2 0
5 2 8
1 2 12
6 3 0
⼀時ファイル
... ... ...


分割された⼀時ファイル

⽂書

1 1 0
libkorakuen 2 1 4
3 1 10
4 2 0
5 2 8
1 2 12
⼀時ファイル 6 3 0
... ... ...


ソートする
On Memory
⽂書
1 1 0
2 1 4
3 1 10
libkorakuen 4 2 0
5 2 8
1 2 12
⼀時ファイル
6 3 0
... ... ...


ソートする
On Memory
⽂書
1 1 0
1 2 12
2 1 4
libkorakuen 3 1 10
4 2 0
5 2 8
⼀時ファイル
6 3 0
... ... ...
ソート済み
⼀時ファイル Copyright © sotarok @ PFI.

マージする

ソート済みソート済みソート済み
⼀時ファイル⼀時ファイル ... ⼀時ファイル
⽂書 1 2 n

libkorakuen

マージ済み
⼀時ファイル
1

マージする

ソート済みソート済みソート済み
⽂書 3 4 n

libkorakuen

マージ済みマージ済み
⼀時ファイル⼀時ファイル
1 2

マージする

ソート済みソート済み
⼀時ファイル⼀時ファイル
⽂書 n-1 n

libkorakuen

マージ済みマージ済みマージ済み
1 2 2/n

マージする

⽂書

libkorakuen

ひとつの大きな
マージ済み
⼀時ファイル

インデックス作成
Keyword Document (Pos, Pos, ...),
Document (Pos , ...), ...
⽂書
libkorakuen Document (Pos , ...), ...
ひとつの大きな
マージ済み Document (Pos , ...), ...
⼀時ファイル

pos Document (Pos , ...), ...
0
⽂書
pos Document (Pos , ...), ...
libkorakuen 122 Document (Pos , ...), ...

ひとつの大きな pos Document (Pos , ...), ...
マージ済み 456 Document (Pos , ...), ...
⼀時ファイル

インデックス！

⽂書

libkorakuen

ポイント
• 簡潔で，Sedue にも使いやすそうなAPI
– ⽂書数分だけ Addして
– BuildIndexするだけ
– Search で探す


Add
• 単語の分割やポジションはライブラリの外で
• ⽂書ID（外部で管理してるものでOK）
– 自動的に内部でIDを振りなおす
• 単語とその出現場所のリスト（vector）
– 単語IDも⽣成


Search
• 単語をわたす (結果を⼊れるvectorもわたす)
• その単語の出現するドキュメントとポジションが
得られる


圧縮
• 中間発表からかわらず，Variable Byte Code


Variable Byte Code

3: 00000000 00000000 00000000 00000011

3: 10000011


Variable Byte Code

3: 00000000 00000000 00000000 00000011

3: 10000011

Byte
?


圧縮
• ドキュメントIDのリスト
• 昇順にソートされている
• 前の⽂書との差分に変換
• 差分とった整数をエンコード


英語インデックスの作成
• 単語数：約 1500 万（たぶん)
• ドキュメント：約 300万
• 元⽂書： 8.9 GB

• 作成時間： 1:30:37.09
• 作成後インデックス：6.1 GB
– ドキュメントIDを振りなおしているおかげでほとん
どがものすごく⼩さい整数 → 圧縮率良


その他のポイント
• テストケースかきました
– まだ GetKeywordID， GetDocID しかない


その他のポイント2
• ライブラリ検証用プログラム (デモしたやつ)
– ii_search
– ii_check


これからの libkorakuen
• Sedue に
• テストケースかきまくる必要性
• ソート/マージはスレッド使えば並列作業ができ
るはず


成果として
• Tokyo Dystopia を使っていては作れない大きさの
転置インデックスが作れるライブラリが作成でき
た


やりたかったのにできなかった
• Sedue への組み込み
• PHP 関連のライブラリ
– これは趣味でもできそうなので近いうち実装する


その他さまざまな思い
• 技術的なことに関して
– アルゴリズムやデータ構造を考えてプログラムを
組むこと
– ライブラリを利用するか自分で実装するか
– 実装の背景にある理論や研究
• 技術者として
– 自分の知らない分野のことを勉強するのは楽しい
– PHP とか怖くないという自信（何
• まとまらないので近⽇中にブログに書きます！


ありがとうございました
お世話になりました！

Internship at PFI

Recommended

Recommended

More Related Content

More from Sotaro Karasawa

More from Sotaro Karasawa (16)

Recently uploaded

Recently uploaded (12)

Internship at PFI