rating_ eco_analyst_by_lda

2017年2⽉5⽇
1
{“id”: 5, “name”: “少年閣下のインターナショナル”}
潜在的ディリクレ配分法を⽤いた、
経済アナリストの有⽤度レイティング

検索エンジンに変わる何か
• 情報⾃体には依存しない
• “情報発信元の信頼度”を評価する
情報発信者レイティングエンジン
1. 作ったもの
2

2. 経済アナリストレイティングエンジン
3
WebコンテンツレイティングAI
DB
Web View
クローラ

2. 経済アナリストレイティングエンジン
4
WebコンテンツレイティングAI
DB
Web View
クローラ

3. クローラとAIによるレイティング
5
1. アナリストのコラムとニュースを取得
2. LDAで、全記事をトピックをつける
3. ニュース記事のトピックについて、事前
に⾔及していたアナリストをより評価す
る独⾃のアルゴリズムでレートを計算

4. モデルとデータ
6
1. 潜在的ディレクレ配分法（LDA）
2. 使⽤したデータ
- 経済系のニュース・コラム 4年分
- 対象のアナリスト 400⼈
D: ⽂章数
N: ⽂章に含まれる単語数
W: 単語
z: トピック
K: トピック数

5. DEMO
7
http://pti.uropan.net/

6. 感想
8
• JP(Japanese Processing)しんどい
• Python + MySQLでUTF-8扱うの無理
• アルゴリズムの実装より、クローラ作った
りデータクレンジングのがキツい
• ⼈⼯知能(AI)云々より、データのが⼤事

Recommended