MySQL Casual Talks Vol.4 でのライトニングトークに利用した資料です。 MySQL-5.6.4より「InnoDB FTS」としてInnoDBで全文検索機能が加わりました。 この全文検索機能を利用し、日本語の全文検索エンジンとしての可能性を探ります。 ブログ記事はこちらです。 http://y-ken.hatenablog.com/entry/mysql-casual-talks-vol4-innodb-fts

1. MySQL-5.6で始める全文検索
∼InnoDB FTS編∼
MySQL Casual Talks #4
Kentaro Yoshida
@yoshi_ken

2. 本日の流れ
自己紹介
今回のテーマ
MySQL-5.6時代の全文検索プロダクト紹介
全文検索の動作デモ
ベンチマーク
まとめ
次回予告

3. 自己紹介
よしけんさん
の中の人
研究開発系の
インフラエンジニア
興味分野
MySQL, Fluentd, Ruby,
KVM, DRBD, Nginx,
Redis, MongoDB, etc...

4. 今回のテーマ
MySQL-5.6.4のInnoDBでは全文検索が可能となった
しかしMeCabTokenizerどころかNgramにすら非対応
スペース区切りなら検索できる！（ポジティブ思考）
自前で分かち書きすれば動くのでは？でも速度は？
こんな状況に果敢に挑戦したレポートです

5. MySQL-5.6時代の
全文検索プロダクト紹介
（mroonga / InnoDB-FTS / SphinxSE）

6. mroonga
http://mroonga.github.io/ja/docs/characteristic.html

7. InnoDB Full-Text Search
https://blogs.oracle.com/mysqlinnodb/entry/
innodb_full_text_search_is

8. SphinxSE
http://sphinxsearch.com/
これは別物

9. mroonga (groonga)
Tritonn (Senna) の後継プロダクト
参照ロックフリー
完全転置索引を採用
MeCabやN-gramでの分かち書きに対応
N-gramおよびCJKに対応

10. InnoDB FTS (FullTextSearch)
MySQL-5.6.4から正式対応（しかも標準）
参照ロックフリー
mroonga (groonga) 同様に完全転置索引を採用
空白区切りの単語のみ検索可能
現状、N-gramおよびCJKには非対応

11. Sphinx SE (Search Engine)
概要 by wikipedia
http://en.wikipedia.org/wiki/
Sphinx_(search_engine)
日本語解説 by IBM
http://www.ibm.com/developerworks/jp/
opensource/library/os-sphinx/?
cmp=dw&cpb=dwope&ct=dwrss&cr=dwrss&
ccy=jp&csr=120911
storage plugin対応
http://sphinxsearch.com/docs/
current.html#sphinxse-using
リアルタイムインデック
ス非対応（疑惑）
http://www.slideshare.net/conmame/
ss-12117195/9
ベンチマーク
http://www.percona.com/files//presentations/
opensql2008_sphinx.pdf
http://www.slideshare.net/billkarwin/practical-full-
text-search-with-my-sql
インストール方法
http://www.howtoforge.com/sphinx-as-
mysql-storage-engine-sphinxse
日本語 (CJK) 対応状況
http://www.ivinco.com/blog/using-sphinx-
search-engine-with-chinese-japanese-and-
korean-language-documents/
MySQL-5.6.10対応状況
http://sphinxsearch.com/bugs/view.php?
id=1419

12. 全文検索デモ (mroonga)
テーブル作成
CREATE TABLE search_with_mroonga (
id INT PRIMARY KEY AUTO_INCREMENT,
subject TEXT,
content TEXT,
FULLTEXT INDEX (subject,content)
) ENGINE = mroonga DEFAULT CHARSET utf8
collate utf8_unicode_ci ;

13. 全文検索デモ (mroonga)
データ登録
INSERT INTO search_with_mroonga
(subject, content) VALUES (
‘MySQL’,
’MySQL（マイエスキューエル）は、オラクルが開
発するRDBMS（リレーショナルデータベースを管理、運
用するためのシステム）の実装の一つである。’
);

14. 全文検索デモ (mroonga)
データ検索
SELECT
*
FROM
search_with_mroonga
WHERE
MATCH(subject,content)
AGAINST('+オラクル' IN BOOLEAN MODE);

15. 全文検索デモ (InnoDB FTS)
テーブル作成
CREATE TABLE search_with_innodb (
id INT PRIMARY KEY AUTO_INCREMENT,
subject TEXT,
content TEXT,
FULLTEXT INDEX (subject,content)
) ENGINE=InnoDB DEFAULT CHARSET utf8
collate utf8_unicode_ci ;

16. 全文検索デモ (InnoDB FTS)
分かち書き with CLI
echo "MySQL（マイエスキューエル）は、オラクルが
開発するRDBMS（リレーショナルデータベースを管理、
運用するためのシステム）の実装の一つである。" |
mecab --output-format-type wakati

17. 全文検索デモ (InnoDB FTS)
分かち書き with Ruby
# -*- encoding: utf-8 -*-
require 'MeCab'
wakati = MeCab::Tagger.new('-O wakati')
puts wakati.parse('本日も良い天気です')

18. 全文検索デモ (InnoDB FTS)
データ登録
INSERT INTO search_with_innodb
(subject, content) VALUES (
‘MySQL’,
’MySQL （ マイエスキューエル ） は 、 オラク
ル が 開発 する RDBMS （ リレーショナル データ
ベース を 管理 、 運用 する ため の システム ）
の 実装 の 一つ で ある 。’
);

19. 全文検索デモ (InnoDB FTS)
データ検索
SELECT
*
FROM
search_with_innodb
WHERE
MATCH(subject,content)
AGAINST('+オラクル' IN BOOLEAN MODE);

20. ベンチマーク
Oracle公式MySQL-5.6.10にmroonga-3.02を入れ、
mroongaとInnoDB-FTSの性能比較試験を行う
書き込み性能
全文検索性能
利用マシン
Intel Xeon L5520 2.27GHz, 16GB Memory
CentOS 6.4 (x86_64)

21. ベンチマーク
テーブル構成
mroonga ストレージモード
インデックス作成時のオプションにて
分かち書き方法を指定する
search_with_mroonga_ngram
search_with_mroonga_mecab

22. ベンチマーク
search_with_mroonga_ngram
CREATE TABLE search_with_mroonga_ngram (
id INT PRIMARY KEY AUTO_INCREMENT,
subject TEXT,
content TEXT,
FULLTEXT (subject,content)
) ENGINE=mroonga DEFAULT CHARSET utf8
collate utf8_unicode_ci ;

23. ベンチマーク
search_with_mroonga_mecab
CREATE TABLE search_with_mroonga_mecab (
id INT PRIMARY KEY AUTO_INCREMENT,
subject TEXT,
content TEXT,
FULLTEXT (subject,content) COMMENT
'parser "TokenMecab"'
) ENGINE=mroonga DEFAULT CHARSET utf8
collate utf8_unicode_ci ;

24. ベンチマーク
テーブル構成
InnoDB FTS
分かち書き機能を内蔵していないため、
事前にRubyプログラムにて分かち書きを行う
search_with_innodb_ngram
search_with_innodb_mecab

25. ベンチマーク
search_with_innodb_ngram
CREATE TABLE search_with_innodb_ngram (
id INT PRIMARY KEY AUTO_INCREMENT,
subject TEXT,
content TEXT,
FULLTEXT (subject,content)
) ENGINE=InnoDB DEFAULT CHARSET utf8
collate utf8_unicode_ci ;

26. ベンチマーク
search_with_innodb_mecab
CREATE TABLE search_with_innodb_mecab (
id INT PRIMARY KEY AUTO_INCREMENT,
subject TEXT,
content TEXT,
FULLTEXT (subject,content)
) ENGINE=InnoDB DEFAULT CHARSET utf8
collate utf8_unicode_ci ;

27. ベンチ：更新性能
5万件×15回のINSERT所要秒数を計測し、
件数が増えることでの性能劣化を測ります
サンプルデータには、dbpedia.org より入手した
Wikipedia日本語版の75万件の記事を利用します

28. ベンチ：更新性能
tsvデータの容量
ngramはbi-gramのため、2倍以上の容量となります。
$ ls -sh wikipedia_*.tsv
408M wikipedia_mecab.tsv
798M wikipedia_ngram.tsv
345M wikipedia_plain.tsv

29. ベンチ：更新性能
クエリ例
LOAD DATA LOCAL INFILE
'/path/to/wikipedia_mecab.tsv'
INTO TABLE search_with_innodb_mecab
FIELDS TERMINATED BY 't'
LINES TERMINATED BY 'n'
(id,subject,content);

30. ベンチ：更新性能
0
1000
2000
3000
4000
75万件の登録所要時間（秒）
3054.54
329.8
629.57
178.01
mroonga mecab
InnoDB FTS mecab
mroonga ngram
InnoDB FTS ngram

31. tsvデータを5万行毎のファイル15個に分割し、
LOAD DATA LOCAL INFILEを立て続けに行った際、
速度がどのように変化していくかを計測しました。

32. ベンチ：更新性能
0
100
200
300
400
50k 100k 150k 200k 250k 300k 350k 400k 450k 500k 550k 600k 650k 700k 750k
mroonga mecab
InnoDB FTS mecab
mroonga ngram
InnoDB FTS ngram
5万件単位での書き込み所要時間（秒）

33. 5万件単位での書き込み所要時間を計測したところ、
InnoDB FTS ngramはダントツで遅いため、
グラフから外し、MeCabのみで比較します。

34. ベンチ：更新性能
0
15
30
45
60
50k 100k 150k 200k 250k 300k 350k 400k 450k 500k 550k 600k 650k 700k 750k
mroonga mecab
InnoDB FTS mecab
5万件単位での書き込み所要時間（秒）

35. ベンチ：更新性能
結果
mroongaがダントツで最速
InnoDB FTSもMeCabデータを入れるなら
業務要件次第では実用的な範囲

36. ベンチ：全文検索性能
5万件の単語を直列に全文検索する際の所要秒数を
計測し、全文検索性能の比較を行います
単語データは、MeCab-IPA辞書の名詞版（固有名
詞・地域）から5万件を抽出しています
$ nkf -w src/mecab-ipadic-2.7.0-20070801/
Noun.place.csv | cut -d"," -f1 | sort |
uniq | sort -R | head -n 50000

37. ベンチ：全文検索性能
クエリ例
SELECT
SQL_NO_CACHE
count(*)
FROM
search_with_innodb_mecab
WHERE
match(subject,content)
against('+表参道' IN BOOLEAN MODE);

38. ベンチ：全文検索性能
1ワード
0 50 100 150 200
61.638
187.944
55.152
163.824
mroonga mecab
InnoDB FTS mecab
mroonga ngram
InnoDB FTS ngram
75万レコードに対して5万単語を順次SELECTした際の実行所要時間（秒）

39. 5万単語を用意して直列に順次検索を行いましたが、
該当件数が0件となる単語が半数ある事を補足します。
search_with_mroonga_mecab:
Noresult count: 33658
search_with_innodb_mecab:
Noresult count: 24950
search_with_mroonga_ngram:
Noresult count: 23129
search_with_innodb_ngram:
Noresult count: 35500

40. まとめ
MySQL-5.6.4 以降で使えるようになった
InnoDB FTSは意外と実用的です
InnoDB FTSを使うならアプリ側で
MeCabを用いた分かち書きをしましょう
MySQL単体で全文検索を実現したい場合の
mroonga以外の選択肢が、1つ増えました

41. 最後に
詳細な解説記事は追ってアップします。
その際はTwitterにてお知らせします。
https://twitter.com/yoshi_ken
http://d.hatena.ne.jp/yoshi-ken/

42. 次回予告

43. 次回予告
Tritonn (MySQL-5.0.87+Senna)からの
mroonga (MySQL-5.6) 移行ガイド

44. ご清聴ありがとうございました。