Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

賢くなる自動フィードアグリゲータの制作 9月号

2,193 views

Published on

Tensor flow勉強会第5回発表内容
http://connpass.com/event/38073/

Published in: Technology
  • Be the first to comment

  • Be the first to like this

賢くなる自動フィードアグリゲータの制作 9月号

  1. 1. 1 シンギュラリティ株式会社 賢くなる自動フィードアグリゲータの制作 9月号 TensorFlow勉強会 第5回 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved Singularity株式会社 代表取締役 近藤 昭雄
  2. 2. 2 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved 自己紹介
  3. 3. 3 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved 居酒屋出身の組み込みエンジニア
  4. 4. 4 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved AndroidのSDKがリリースされてから 人生が変わった
  5. 5. 5 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved Android SDKが発表された当日に Android情報まとめwiki開設
  6. 6. 6 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved 2008/02/05 Armadillo-500にAndroidをポーティング、 Youtubeにビデオ公開
  7. 7. 7 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved 2009/12/01 開発に携わったAndroidアプリスポットメッ セージ」がADC2のソーシャル部門で入賞
  8. 8. 8 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved 2010年 Android温泉グループ創設、 Androidなんとか部をいっぱい作る
  9. 9. 9 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved Androidなんとか部
  10. 10. 10 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved 2010/09/04 執筆、取りまとめをした 「Android Hacks」がオライリー社より出版
  11. 11. 11 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved 2016/07/15 「死ぬ前に後悔したくない」 Singularity株式会社設立
  12. 12. 12 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved 本題
  13. 13. 13 概要  動機  賢くなる自動フィードアグリゲータとは  要素技術  トピックモデル  LDA  Word2Vec、Doc2Vec  RSS  Slack  スマホアプリ  実装  今後の展望 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  14. 14. 14 動機 最近、情報収集が面倒になってきてませんか? 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  15. 15. 15 動機 • 以前の情報収集方法 • Yahoo Pipesがあった 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  16. 16. 16 動機 • 現在の(個人的な)情報収集方法 • はてブニュース • RSSに全文がない • Google Alert • SNS(Twitter、Facebook) • 某巨大掲示板 とても面倒な上に情報キャッチまでがとても遅い! 新しい情報はすぐに知りたい! 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  17. 17. 17 動機 • そもそもネット上の情報量が増えた http://www.nikkei.com/article/DGXNASDD070EU_X00C13A6TJ0000/ 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  18. 18. 18 動機 • そもそもネット上の情報量が増えた 喜連川優「情報爆発のこれまでとこれから」,電子情報通信学会誌,Vol.94,No8,2011 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  19. 19. 19 動機 • そもそもネット上の情報量が増えた • 2012年の調査では2012年に作成および複製 されるデータは2.8ゼッタバイトに達する • 5 エクサバイト • 今まで人間によって話されたすべての言葉 • 175 エクサバイト • 2010年の1年間にインターネットに流れた データの量 ※http://www.amy.hi-ho.ne.jp/kido/howmuchinfo.htm 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  20. 20. 20 動機 自分だけで情報をフィルタするのは もはや限界!!! 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  21. 21. 21 動機 • 巡回するだけで1日が終わってしまう • 自動で巡回して欲しい情報を勝手にピックアップし てプッシュ通知して欲しい • 読んだ後に評価(いいね!、イマイチ)をして、ピッ クアップする記事を学習して質を高めて欲しい 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  22. 22. 22 動機 • もうSmartNewsとがGunosyがあるやん? • 欲しい情報だけは取れない • ジャンルも多くて見るの大変 • 自分が欲しいキーワードの最新情報は取れな い 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  23. 23. 23 動機 • Googleのニュースアプリでキーワード設定できる よ • 一致する単語が出てこないと引っかからない • おそらくGoogle Alertと同じ実装 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  24. 24. 24 動機 • そのものズバリのキーワードが入った記事だけ じゃなくて、好みを学習して関連語も拾って欲しい • 例) 「Singularity」のキーワードを設定すると 「人工知能」「AI」「AGI」「汎用人工知能」 「ナノテク」「不老不死」「サイボーグ」「ロボット」 「攻殻機動隊」 とかも拾ってきたり。 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  25. 25. 25 動機 何故か世の中にまだ存在しない(公開されていない?) 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  26. 26. 26 動機 「未来を予測する最善の方法は、 それを発明してしまうことだ」 By. Alan Curtis Kay 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  27. 27. 27 賢くなる自動フィードアグリゲータとは • キーワードとRSSフィード(複数)を入力 • 関連語も含めて記事を収集しRSSを生成 • 新着記事をプッシュ通知 • アプリ、Slackなど • 読んだ記事の評価による学習 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  28. 28. 28 要素技術 • RSSの整形、生成、記事の全文の取得 • 文書の分類、トピックの抽出 • 文書の関連度を測定 • Push通知 • 学習 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  29. 29. 29 要素技術 • トピックモデル • 文書集合からトピックを抽出、推定する 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved 岩田具治 著 「トピックモデル」より
  30. 30. 30 要素技術 • LDA(Latent Dirichlet Allocation) • 文書中の単語の「トピック」を確率的に求める言 語モデル • 教師なしで文書のトピックを推定 • 決めた分割数で文書を分類する 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  31. 31. 31 要素技術 • BoW(Bag Of Words) • 文書の構造は考えずにひたすら単語をカウント する • 文書の特徴をベクトル化する 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved あの壺はいい物だ あの 壺 は いい 物 だ あの その あれ … 壺 … いい 悪い … 物 1 0 0 1 1 0 1
  32. 32. 32 要素技術 • Word2Vec • 文書中の単語の意味構造をベクトル化 • 単語が類似度を算出可能 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  33. 33. 33 要素技術 • Doc2Vec • 文書の類似度が算出可能 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  34. 34. 34 要素技術 • RSSの整形、生成、記事の全文の取得 • Plagger • 文書の分類、トピックの抽出 • 文書の関連度を測定 • Word2Vec、Doc2Vec • Push通知 • 何とでもなる • 学習 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  35. 35. 35 実装 • RSSの整形、生成、記事の全文の取得 • Plagger • 「それPlaggerでできるよ」で一世風靡 • RSSが存在しないサイトもRSS化 • 最近全然更新されていない • 環境構築だけでひと苦労 • 最近の記事がほとんどない • perlbrewを使って何とか環境は構築できた • そもそもRSSで全文吐いて欲しい! • 誰か扱いやすいもの知りませんか? 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  36. 36. 36 実装 • 文書の分類、トピックの抽出 • gensim • LDAもWord2Vecも比較的簡単に扱える • 試しにWikipediaでコーパス作成 • 英語Wikipediaのデータだけで13GB • データの前処理だけで3時間以上かかって中 断(昨日:9/26の夕方) 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  37. 37. 37 実装 • 文書の分類、トピックの抽出 • トピックモデル、BoW • RSSで取ってきたデータのカテゴリ分けを実験 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  38. 38. 38 実装 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  39. 39. 39 実装 • RSSの整形、生成、記事の全文の取得 • 文書の分類、トピックの抽出 →イマココ • トピックの関連度を測定 • Push通知 • 学習 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  40. 40. 40 今後の展望 • 俺得ローカルサービスから一般公開を目指す • 個人が育てて賢くなったRSSを他人も使えるよう にする • 生成したRSSをさらに入力データにして、どんどん 賢くする • カッコいい名前をつける • 次の開催までにはプロトタイプを 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved
  41. 41. 41 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved ご静聴ありがとうございました!
  42. 42. 42 お問い合わせ ご興味のある企業・団体・個人様は、以下までお問い合わせください。 シンギュラリティ株式会社 http://snglrty.net 東京都港区浜松町 2-7-15 三電舎ビル6F Tel 03-5425-2545 代表取締役 近藤昭雄 E-mail:info@snglrty.net 2016/9/28 Singularity Copyright 2016 Singularity Inc. All rights reserved

×