Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Deep Learningによるゆるキャラグランプリ2017の投票数予想

55 views

Published on

2017/12/17のとっしんの会で発表した内容です。
SlideShareでは日本語で書かれたPDFを正常に表示できないようです。
ダウンロードすれば正常に表示することができるようですので、一度ローカルにダウンロードしてください。

Published in: Engineering
  • Hello! Who wants to chat with me? Nu photos with me here http://bit.ly/helenswee
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Deep Learningによるゆるキャラグランプリ2017の投票数予想

  1. 1. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 Deep Learning によるゆるキャラグランプリ 2017 の投票数予想 石山 賢也 2017-12-17
  2. 2. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 目次 1 自己紹介 2 今回の発表の背景 3 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワークと一般化線形モデル VGG19 4 ゆるキャラグランプリ 5 まとめと今後の課題 6 参考文献
  3. 3. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 これまでの経歴 自己紹介 名前 石山 賢也 (いしやま かつや) 経歴 • 2010 年 3 月 東京理科大学大学院修了 修士 (理学) 応用統計学を専攻 • 2010 年 4 月 某証券会社入社 ディーリングを 1 年、投資顧問でトレーダー、アナリス ト業務、データ集計等を担当 • 2015 年 4 月 某ソーシャルゲームの開発・運営会社の データサイエンティストに転職 ログ設計、データ集計・分析を担当 現在に至る
  4. 4. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 例)某王道 RPG の装着率評価 • スマートフォン向け RPG タイトルには珍しく「おしゃれ 装備」が実装されている • 装備をデザインしているアーティストは、担当した装備 がユーザーに評価されているのかが知りたい • 装着率を確認する ログの設計、集計バッチの実装、データ提供(Excel が 多い) • 装備の良し悪しをレビューする • 装備企画に反映 (3∼4ヶ月後)
  5. 5. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 使っているツール 普段の仕事で使っているものを使用頻度順に挙げます。 1 python (主に pandas を使う)、Redshift (主に python から 叩いている) 2 Excel (アドホックな集計物、フォーマットが決まりきっ ていない定期集計) 3 Redash (OSS の BI ツール)、PostgreSQL (Redash で使う データマート)、Jenkins (集計バッチの定期実行タスク) 4 Scala (勉強中、python では辛い集計をするとき) 5 MySQL (インフラ系の設定等を扱う) 6 R (本気で統計モデルを使って分析したい時)
  6. 6. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 今回の発表の背景 1 RPG タイトルのアーティストは装備の装着率を気にして いた 2 企画段階で装着率が分かれば企画が立てやすくなるので はないか 3 VGG19 を知る 4 装備の装着率を画像から予想するのに使える 5 とはいえ、それを社外に向けて出すわけにはいかない... 6 ゆるキャラグランプリで投票数を予想してみよう! Deep Learning でどのように投票数を予想するのかという原理にフォーカスした内容 になってしまいました... ソースコードはこのスライドには出てきません。 qiita に投稿した記事と GitHub へのリンクを付けましたので、気になる方はご覧下 さい。
  7. 7. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 Deep Learning の歴史 • 機械学習のニューラルネットワークの 1 種である CNN • Rosenblatt が 1957 年に初めてパーセプトロンを発表 • ディープラーニングの初登場 2006 年に当時トロント大の Hinton 教授 (現 Google) が発 表した Deep Belief Nets • ILSVRC2012 で圧倒的な成績 Hinton が率いるトロント大が開発した Super Vision が 2 位を大きく引き離して優勝 • 同じく 2012 年に Google が構築した Deep Learning のアル ゴリズムが YouTube の動画を学習して猫を自動的に認識 したと発表
  8. 8. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロン パーセプトロン (単層ニューラルネットワーク) の式は次の 通り: y(x, w) = f   N∑ j=1 wj xj   , (1) f (a) = { 1 (a ≤ 0) −1 (a < 0) (2) Figure : パーセプトロン(巣籠より引用)
  9. 9. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロンとロジスティック 回帰 パーセプトロンの式 (1) において f に 1 1+exp(−x) を用いると y(x, w) = f   N∑ j=1 wj xj   = 1 1 + exp(− ∑N j=1 wj xj ) (3) となり、これはロジスティック回帰である。 これは機械学習では 2 値分類問題に応用され、統計学では病 気の死亡率にどの項目が影響しているのかの分析で使われる。 (注) 1 1+exp(−x) は機械学習ではシグモイド関数と呼ばれる
  10. 10. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロンから多値分類問 題への拡張 ロジスティック回帰は 2 クラスの分類しかできないので、さら にこれを多クラス分類問題に拡張したい。 第 k クラスのみの分類だけを考えるとその確率は式 (3) で表さ れる。 多クラス分類問題はこの 2 項確率による多項分布になるので、 y(x, w) = n∏ i=1 m∏ j=1 ( exp(xi wj ) 1 + ∑m−1 l=1 exp(x′ i wl ) ) (4) となり、これは式 (1) の形である。
  11. 11. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロンと一般化線形モ デル このようにパーセプトロンの f を変えることで 2 クラス分類 から多クラス分類まで対応することができる。 統計学的には一般化線形モデル (Generalized Linear Models) と してさらに一般化された形で次のように定式化されている。 一般化線形モデル (GLM) 指数型分布族に属する分布に従う独立な確率変数 Yi (i = 1, ..., N) に対して、µi = E(Yi ) として、単調な関数 g によって g(µi ) = N∑ j=1 wj xj (5) と表される。
  12. 12. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 パーセプトロンと一般化線形モ デル 一般化線形モデルの式 (5) は E(Yi ) = µi = g−1   N∑ j=1 wj xj   (6) と書けて、f = g−1 とすると式 (1) と同じ形になる。 つまり、パーセプトロンを一般化したものは一般化線形モデ ルということ。
  13. 13. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 一般化線形モデルからニューラ ルネットワークへ 式 (1) の問題点は f の中身 ∑N j=1 wj xj は線形のものしか表現で きないことである。 そこで、より当てはまりを良くするために線形以外のものも 表現できるようにしたい。 非線形関数 ϕ を使って式 (1) を y(x, w) = f  ϕ( N∑ j=1 wj xj )   (7) とすると、これはニューラルネットワークの一般形の数式に なる。 式 (7) は予想が良くなるようにデータを適当に変換した後に、 一般化線形モデルを適用したものとも解釈できる。
  14. 14. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 ニューラルネットワークで使え る確率分布 これまで数式で説明してきたのは、データが従うと仮定でき る分布に何があるのかということを明らかにしたかったため。 重要なのは f に何が使えるのかということであり、これは学 習に必要になる損失関数の形を決定する。 ゆるキャラグランプリの投票数予想では、データがポアソン 分布に従うとしてモデリングする。 Figure : f に使われる関数 Fox より転載
  15. 15. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 ニューラルネットワークと一般 化線形モデルのまとめ • ニューラルネットワークは一般化線形モデルを拡張した もの • その拡張は一般化線形モデルで回帰する前にデータをよ り複雑に変換して表現力を上げるというもの • 一般化線形モデルと同じようにしてポアソン分布に従う データにニューラルネットワークを適用することができ る (PRML の 4.3.6 を参照)
  16. 16. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 VGG19 とは? • Simonyan と Zisserman によって開発されたモデル • ILSVRC2014 で 2 位を獲得 VGG はチーム名でオックスフォード大の Visual Geometry Group の略 • 画像分類では 2014 年の Winner である GoogLeNet を抑え てトップに立った • シンプルな構成なので幅広く応用されている 例)Image Style Transfer Using Convolutional Neural Networks • Keras には事前に学習済みのモデルが実装されている
  17. 17. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 VGG19 のアーキテクチャ Figure : VGG のアーキテクチャ Simonyan and Zisserman より転載
  18. 18. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 ゆるキャラグランプリのデータ DL qiita に記事を書いたのでそちらを参照 Python の Beautifulsoup と scikit-image でゆるキャラグランプ リのデータを取得して VGG19 向けに変換
  19. 19. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 まとめ • ニューラルネットワークは一般化線形モデルの拡張である • ゆるキャラグランプリの投票数予想モデルとして、 VGG19 を紹介した • 投票数がポアソン分布に従うと仮定して VGG19 を適用で きる事を示した
  20. 20. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 今後の課題 • ポアソン分布の場合の VGG19 の損失関数を導出して実装 • 実際に実行して結果を評価する (Google Cloud ML を利用予定) • 他のモデルを探す VGG のコードは GitHub を参照
  21. 21. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 参考文献 • Bishop, C. M. Pattern Recognition and Machine Learning, 2006. • Chollet, F. Deep Learning with Python, Manning, 2017. • Dobson, A. J. An Introduction to Generalized Linear Models 2nd Ed, Chapman & Hall, 2002. • Fox, J. Applied Regression Analysis and Generalized Linear Models 2nd Ed, SAGE Publication, 2008. • Simonyan, K. and Zisserman, A. Very Deep Convolutional Networks For Large-Scale Image Recognition. • 巣籠, Deep Learning Java プログラミング, インプレス, 2016 • 斎藤, ゼロから作る Deep Learning, オライリー・ジャパ ン, 2016
  22. 22. Deep Learning によるゆる キャラグラン プリ 2017 の 投票数予想 石山 賢也 自己紹介 今回の発表の 背景 Deep Learning の振り返り Deep Learning の歴史 ニューラルネットワー クと一般化線形モデル VGG19 ゆるキャラグ ランプリ まとめと今後 の課題 参考文献 ご清聴ありがとうございました

×