ようやく動くものが出来たよ！というお話。

1. おとなのテキストマイニング
@pinktx_jp
2012.11.23 Gunma.web #11

2. 今回の主役

3. 超有名人

6. ルイージ

7. テキストマイニング

8. テキストマイニング
テキストマイニング（ text mining ）は、テキストを対象と
したデータマイニングのことである。通常の文章からなる
データを単語や文節で区切り、それらの出現の頻度や共出現
の相関、出現傾向、時系列などを解析することで有用な情報
を取り出す、
テキストデータの分析方法である。
http://ja.wikipedia.org/wiki/テキストマイニング

9. 自然言語処理
自然言語処理（しぜんげんごしょり、英語 : natural
language processing 、略称： NLP ）は、人間が日常的に
使っている自然言語をコンピュータに処理させる一連の技術
であり、人工知能と言語学の一分野である。
http://ja.wikipedia.org/wiki/自然言語処理

10. 人間語をコンピュータで扱い
やすい形にする事

11. 形態素解析
対象言語の文法の知識（文法のルールの集まり）や辞書（品
詞等の情報付きの単語リスト）を情報源として用い、自然言
語で書かれた文を形態素（ Morpheme, おおまかにいえば、
言語で意味を持つ最小単位）の列に分割し、それぞれの品詞
を判別する作業を指す。
http://ja.wikipedia.org/wiki/形態素解析

12. 文章を単語単位に分けて、品
詞を特定すること

13. 英語の場合
Mankind has arrived at Jupiter for
the first time today.

14. 英語の場合
Mankind has arrived at Jupiter for
the first time today.
日本語の場合
今日人類が初めて木星に着いたよ
。

15. 英語の場合
Mankind has arrived at Jupiter for
the first time today.
日本語の場合
今日人類が初めて木星に着いたよ
。
わかち書きが必要

16. わかち書き（形態素解析）
$ 今日人類が初めて木星に着いたよ

17. わかち書き（形態素解析）
$ 今日人類が初めて木星に着いたよ
今日 名詞 , 副詞可能 ,*,*,*,*, 今日 , キョウ , キョー
人類 名詞 , 一般 ,*,*,*,*, 人類 , ジンルイ , ジンルイ
が 助詞 , 格助詞 , 一般 ,*,*,*, が , ガ , ガ
初めて 副詞 , 一般 ,*,*,*,*, 初めて , ハジメテ , ハジメテ
木星 名詞 , 一般 ,*,*,*,*, 木星 , モクセイ , モクセイ
に 助詞 , 格助詞 , 一般 ,*,*,*, に , ニ , ニ
着い 動詞 , 自立 ,*,*, 五段・カ行イ音便 , 連用タ接続 , 着く ,
ツイ , ツイ
た 助動詞 ,*,*,*, 特殊・タ , 基本形 , た , タ , タ
よ 助詞 , 終助詞 ,*,*,*,*, よ , ヨ , ヨ

18. MeCab

19. MeCab
• オープンソースの形態素解析エンジン
• Google 日本語入力開発者の一人である
工藤拓氏によって開発
• MacOS や iOS 等にも採用されている
http://ja.wikipedia.org/wiki/MeCab

21. ここから若干おとな向けなお
話が含まれます

22. おとなのテキストマイニン
グに
必要なもの

23. おとなのテキストマイニン
グに
必要なもの
• r18-words.dic
- 18 禁ワードに特化した辞書
• pornostar-jp.dic
- 日本の AV 女優さんの名前辞書

24. 用途

25. 用途
類似文書の検索

26. おさらい
ちょっとだけ物足りない機能
閲覧中のモノと関連した動画の紹
介

28. もっと似ているもの
щ( ﾟ д ﾟ щ) ﾌﾟﾘｰｽﾞ

29. 類似文書を検索出来れば…

30. 類似文書を検索出来れば…
閲覧中の動画と類似の動画も検索可
能！
||
関連動画

31. デモ

32. デモ
… は危険なので割合させて頂きます（汗

33. 分かりやすい類似検索の例

34. 分かりやすい類似検索の例
• 検索ワード「 JK 」 • 検索ワード「ナー
– JK ス」
– 女子高生 – ナース
– 女子校生 – 看護婦
– 女子●生 – 看護師
– 白衣の天使
– 看護学生

35. 類似文書の検索
• 精度を出すには超高次元での空間イン
デックスが必要（ R-Tress や SR-
Tree ）
• 高次元にするほど精度が高くなる
• 高次元にするほどパフォーマンスが悪
化する（次元の呪い）

36. 類似文書の検索
• LSH(Locality Sensitive Hashing) に代表
される「近似型」のインデックスを用
いることでパフォーマンスの問題を改
善する事ができる

37. Luigi

38. 類似

39. Luigi とは
• Perl で書かれた類似検索エンジン。
• 近似型のインデックスを使っています
。
• そこそこ精度がよく高速に動作します
。
実験的なコードなので CPAN にはアップされていません
GitHub: https://github.com/miki/Luigi

40. 最後に
今回の発表内容を実装した
サービスの紹介をさせて頂きます

41. けしからん動画を快適に見よう！
morolicious
http://morolicio.us/

42. β 版ですが、稼働しているの
で

43. 息抜きの時にでも
使って頂けたら光栄です

44. 第
八
ヌ 発
注
キ過、

45. ご清聴ありがとうございまし
た

46. ちなみにサービス名

47. mojolicious
Wikipedia より
Web アプリケーションフレームワーク Catalyst の作者であるセ
バスチャン・リーデルによって書かれたリアルタイム Web アプ
リケーションフレームワーク。

48. サービスの対象者
” おとな”

49. おとな + mojolicious

50. おとな + mojolicious
=
morolicious

51. けしからん動画を快適に見よう！
morolicious
http://morolicio.us/
@morolicio_us