mysqlftppc の背景について。プロジェクトページはこちら。　http://mysqlftppc.wiki.sourceforge.net/

1. mysqlftppc 紹介 川井 浩陽 2009-02-12

2. まず mysqlftppc = MYSQL F ull- T ext P arser P lugin C ollection サーバに組み込んで使います。 Cで書かれています。 http://mysqlftppc.wiki.sourceforge.net/

3. MySQL full-text search SELECT * FROM hoge WHERE MATCH (t) AGAINST (“hogehoge”) SQL の 関数 として導入されています。 http://dev.mysql.com/doc/refman/5.1/en/fulltext-search.html

5. 二つの「文章」を比較して検索結果に含めるかどうかを判断する。

6. Query Expansion 機能（「ひょっとして～」） SELECT * FROM hoge WHERE MATCH(t) AGAINST(“The quick brown fox jumps over the lazy dog”); SELECT * FROM hoge WHERE MATCH(t) AGAINST(“The quick brown fox jumps over the lazy dog” WITH QUERY EXPANSION);

8. 文章に含まれるトークン群が条件式を満たすかどうか

9. 条件式を表現するための Boolean syntax SELECT * FROM hoge WHERE MATCH(t) AGAINST(“+hoge -geho” IN BOOLEAN MODE); SELECT * FROM hoge WHERE MATCH(t) AGAINST(“+(hoge geho) -ab” IN BOOLEAN MODE);

11. 「普通の文字*1」の連続を探し出してトークンとする。

15. Unicode collation algorithm の実装が不完全 そうだ PLUGIN に行こう

17. MyISAM, InnoDB などサーバ内部に組み込み済みの storage engine を切り替えられた。

21. Full-text parser plugin interface MySQL では全文検索エンジンはこのように構成されている CREATE TABLE hoge ( t TEXT, FULLTEXT(t) WITH PARSER geho ); text SQL parser TABLE FULL-TEXT INDEX Full-text Parser Plugin (tokenize) Full-text Text feed Full-text Token fetch Pluginはここ

23. Natural language mode, boolean mode などの情報はサーバから渡される

26. MySQL 5.0 に対するパッチの形で配布。

27. SQL 構文を拡張

28. BOOLEAN MODE の構文は Senna の構文で、MySQL標準仕様の拡張に相当。 CREATE TABLE hoge ( t TEXT, FULLTEXT INDEX USING NGRAM (t) )

31. mecab

32. space

33. suffix

36. Boolean Mode では原則的に常にフレーズ検索を行います。「東京都」という文字列は「東京」「京都」の二つの連続トークン列（フレーズ）を探すことになります。

38. mecab ライブラリとリンクしていいます

40. Boolean Mode ではフレーズクエリ指定された文字列は形態素解析します。それ以外は形態素での条件指定と解釈します。

45. Boolean mode では常に先頭一致で検索します。

50. prefix は指定しません。指定しても使われません。どうせファイルひとつだけですし。

51. mysql_config が $PATH に入っていれば ./configure; make; make install 以上終了です。

54. SELECT * FROM hoge WHERE MATCH(t) AGAINST(“geho” IN BOOLEAN MODE)

57. 日付範囲を絞り込みたい

58. ～が～のものを検索したい（属性検索）

60. 実装もさまざまあります。

64. 検索した結果は文書ID一覧。

65. ついでに（全文検索できない）プロパティを追加管理できる

67. 受信日時が～～のものを検索したい

68. 送信者が～～のものを検索したい

69. 件名が～～のものを検索したい

71. 全文検索エンジンから

72. 検索エンジンへ こういった管理体系を 実現するには…？

74. その属性は全文検索の対象となるテキストかもしれない。

75. そうじゃないかもしれない。数値かもしれないし、日付かもしれない。

77. ファイル形式は独自形式

79. たとえば Tomcat 上に乗せる

82. 扱えるテキスト（全文検索）は一つ。そのほかに属性が管理できる。

83. Estmaster という Web サーバデーモンが付属している

84. C で実装されている

85. ノード API で分散処理することもできる

86. 文字列に対して独自の正規化が行われる

91. 検索対象は属性（カラム）持っている。

94. RDBMS は CREATE TABLE でスキーマ定義が必須

97. RDBMS は正規化の過程で別テーブルに変化する

98. キーワードとプロダクト MySQL key/value database Lucene Berkeley DB memcached Tokyo Cabinet Hyper Estraier Oracle Namazu

100. Replication

102. せっかくだから 5.1 plugin ⇒ 作るしか FTPARSER

105. 検索も自然言語

107. 一般的な解というものはありません。

109. MySQL もこの戦略をとります。

113. 文字N-gram

116. 「辞書」に形態素の知識や確立に関する知識を持つ

118. 文字の羅列をうまく検索できるといい

120. 「本日」「日は」「は晴」「晴天」「天な」「なり」

126. キーワードを空白区切りで連結する。

127. キーワードは空白を含むかもしれない。->エスケープシーケンスが必要。

128. 組み込みパーサでは無理。

129. mysqlftppc space plugin を使う

130. Senna / tritonn では delimited に相当。

133. I live in Tokyo.

136. full-text parser parser->parse() param->mysql_add_word() param->mysql_parse() * built-in parser Built-in parser Plugin parser engine text ft_min_word_len ft_max_word_len ft_stopword_file

137. full-text parser parser->parse() param->mysql_add_word() param->mysql_parse() * bigram parser * mecab parser * space parser * suffix parser Built-in parser Plugin parser engine text ft_min_word_len ft_max_word_len ft_stopword_file

138. full-text parser parser->parse() param->mysql_add_word() param->mysql_parse() * snowball parser Built-in parser Plugin parser engine text ft_min_word_len ft_max_word_len ft_stopword_file

141. Query expansion

143. 以上 Questions?