興味から遠い論文を”あえて”レコメンドするSlack Botを作成してみる

2018/6/23 第6回とっしんの会

 石山賢也（いしやまかつや）
GitHub: Katsuya-Ishiyama
Qiita: @kishiyama
Blog: https://kishiyama.hatenablog.com （最近始めました）
 ソーシャルアプリ・ゲームを企画・開発・運営する会社にてデータサイエンティスト
 最近の興味
- 画像データの人気度を定量化する
- テキストマイニング
- 因果推論
2018/6/23第6回とっしんの会興味から遠い論文を"あえて"レコメンドするSlack Botを作成してみる 2

 arXivの更新情報を毎日チェックしたい。
⇒ feedlyを試してみたが、あまり開かない。
 職場で使っているチャットにBotが更新情報を流してくれると読みやすい。
⇒ Slackが適している。
 RSSで得られるすべての論文を流しても興味があるものを探すのが苦労する。
※「それぐらいやれよ」と言われそうですが、推薦システムの勉強なので、それは考えないことにします。
 論文の要旨 (abstract) が自分の興味に近いものをレコメンドして読むものを減らす。
 ただし、煮詰まっているときは興味に近いものばかりでも息が詰まるので、専門領域
から少し逸れて気付きが得られるような論文もレコメンドしてほしい。
⇒ それを興味が遠い論文をあえてレコメンドすることで達成できないか？

 自分の興味がある事柄を簡単な文に起こし、それに近い要旨の論文を1本と遠い要旨
の論文を1本の合計2本を投稿する。
 投稿頻度は毎日1回。
 扱える興味がある事柄は1つのみとする。
 自分の興味がある事柄を説明する文は英語で書くこととする。
※ arXivの論文は英語で書かれているので、興味の説明文も英語の方が扱いやすい
 論文の分野は自分で予め指定しておく。
※複数可。
（例）cs （コンピューターサイエンス）, stat （統計学）

 利用言語
python 3.5以上
※ Type Hintsを使っているため。
（参考）https://docs.python.jp/3/library/typing.html
 依存ライブラリ
requests, scikit-learn, pandas, BeautifulSoup4, PyYAML
 推薦アルリズム
TF-IDFとcosine類似度を使って内容ベース

レコメンド部分
類似度計算部分
RSSダウンロード部分
クエリは手打ち…

RSSは http://arxiv.org/rss/{your interested field} から取得できる。

 RSSScraperクラスを実装する。
 main.pyでパッケージとして読み込まれることを想定。
 RSSのダウンロードは fetch_rss メソッドで行う。
 extract_paper_abstractで論文に関する下記の情報をXMLから抽出する。
date: RSSの更新日時
lang: 論文が書かれた言語（e.g. english）
publisher: 出版元 (e.g. arxiv.org)
subject: 分野 (e.g. Statistics)
title: 論文のタイトル
description: 論文の要旨
link: この論文が掲載されているWebサイトのURL
authors: 論文の著者
 詳細は https://github.com/Katsuya-Ishiyama/paper_recommend/blob/master/scraper.py

Cosine類似度は内積を
取るため、ベクトルの
長さを同じにしたい。
そのため、クエリ文と
論文の要旨のリストは
一緒にしてベクトル化
する。

先程保存したWebhook
のURLを入力して保存

 main.pyから類似度と論文のタイトルなどの情報を受け取って、興味に近い論文と興
味から最も遠い論文を抽出し、Slackに投げる。
 詳細は https://github.com/Katsuya-Ishiyama/paper_recommend/blob/master/recommend.py

 最も近い論文は、興味に近いものの少し的が外れている印象を持った。
 自分の興味を精度良く説明できる文章が書ければ、レコメンドの精度も上がるものと
考えられる。
 最も遠い論文には、たとえ自分の専門領域の中であっても、まったく興味が無い論文
が推薦される。
 「興味があって、かつ、こんな方法があるのか」という体験をするには、類似度で論
文をクラスタ分けして、その中から代表的な1本を選ぶほうが良さそう。

 arXivのRSSから自分の興味に最も近い論文と最も遠い論文を1本ずつレコメンドす
るSlack Botを作った。
 TF-IDFとcosine類似度を使って内容ベースの推薦アルゴリズムを実装した。

 自分の興味はSlack Botに投げられるようにしたい。
 同様に専門分野についてもSlack Botに投げられるようにしたい。
 今回は1つだったが、複数の興味ある事柄についても対応できるようにしたい。
 より洗練された推薦アルゴリズムを採用する。

2018/6/23第6回とっしんの会興味から遠い論文を"あえて"レコメンドするSlack Botを作成してみる
20

2018/6/23第6回とっしんの会興味から遠い論文を"あえて"レコメンドするSlack Botを作成してみる
21

アカウントはすでに持っているものとします。
https://api.slack.com/ にアクセスして右上の ”Your Apps” をクリックします。

1. クリック
2. アプリの名前を入力
※ ここではtestにしていますが、
実際に作ったアプリの名称は
arXiv Botです。
3. 投稿先のワークス
ペースを選択
4. クリック

Incoming Webhooksを設定する
これをアクティベートすることで
外部からの投稿が可能になります。
クリック

Onにして、一番下
の”Add New Webhook
to Workspace”を
クリックする

1. 投稿先を選択
2. クリック

許可をクリックして遷移した先
の一番下のこの部分をコピーし
て、テキストファイルに保存し
ておく。

興味から遠い論文を”あえて”レコメンドするSlack Botを作成してみる

Recommended

Recommended

More Related Content

What's hot

What's hot (17)

興味から遠い論文を”あえて”レコメンドするSlack Botを作成してみる