Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

IkaLog and Deep Learning (20161122 GDLCjp)

3,091 views

Published on

スプラトゥーン リアルタイム画像解析ツール「IkaLog」への簡単なディープラーニング適用例

Nov 22, 2016
GPU Deep Learning Community #2

Published in: Technology

IkaLog and Deep Learning (20161122 GDLCjp)

  1. 1. 本スライド中に登場するスプラトゥーン関連画像は任天堂株式会社の著作物です。
  2. 2. 2004 | 2011 2011 | 2014 2014 | SEサービス プリセールス @ So+ware Research Associates, Inc. システム構築、客先のシステム運用、提案でキャリアをスタート → プリセールス〜PMを担当するインフラエンジニア システムアーキテクト @ Trigence Semiconductor, Inc. エンベデッド開発支援からITシステム管理まで多岐に対応 セールスエンジニア @ Fusion-io, Inc. 高速半導体ストレージ ioDrive / ioMemory シリーズの SE として活動
  3. 3. 様々なステージとルール •  16のステージ、4つのルール •  勝利に向けチームで立ち向かう 多様な楽しみ方 •  90以上のブキから好きなものを 選んでプレイ
  4. 4. •  •  •  Nintendo WiiU & スプラトゥーン { “kills”: 5, “deaths”: 1 } IkaLog 映像 解析結果 ログファイル出力 外部ツール連携 外部Webサイト連携 蓄積/出力先
  5. 5. HDMI キャプチャデバイス IkaLog 実行用PC
  6. 6. ARM搭載 FPGAボード
  7. 7. 12 https://stat.ink/
  8. 8. 自分が倒されて 行動不能だった時間 イカ(味方/敵 計8匹)の生死状況 チームのスペシャル発動、キル/デス 自分の塗り面積 https://stat.ink/
  9. 9. 15
  10. 10. スプラトゥーンのブキ 59種類(スライド作成当時)
  11. 11. •  •  •  •  他の装備品が被っている 保護色(まだマシ) 保護色(マジつらい)
  12. 12. WiiU の画面を取り込む
  13. 13. クラス分類したい部分の画像を抜き出す
  14. 14. 特徴画像に変換 (ラプラシアンフィルタ&画像縮小)
  15. 15. sschooter_collabo (スプラシューターコラボ) K近傍法でクラス分類
  16. 16. 22
  17. 17. –  –  –  – 
  18. 18. スクリーンでは視認しにくいが、ユーザーが様々な解像度の画像を送ってくる「現実」
  19. 19. 26
  20. 20. オリジナルのブキ (longblaster) カスタムバージョン (longblaster_custom) 更に追加(Apr 2016) (longblaster_necro) 出力される特徴量に被りが発生 ラプラシアンフィルタを用いた特徴量の算出自体を 見直す必要性が出てきた
  21. 21. longblaster_necro longblaster_custom longblaster アップデートにより 追加されたクラス
  22. 22. ゲーム終了時に表示される別の画面 画面上に表示される「ギアパワー」画像を分類する KNNの問題点 ・「メイン」ギアパワーと「サブ」ギアパワーで  画像の大きさが異なる ・ユーザー環境によって解像度が異なる ・ブキ画像同様、状況によって特徴量が変化 →画像サイズ/解像度に対してもロバストな分類器がほしい
  23. 23. •  ❌ ⭕ –  •  •  –  •  • 
  24. 24. (本スライド中の画像の一部はイメージであり実際のものとは異なります。) オブジェクト ストレージ 作業用 インスタンス on IaaS 1年以上のデータを蓄積 総データ量 4TB以上 IkaLogユーザ stat.ink hasegaw
  25. 25. •  アスペクト比が 壊れている なぜか画像がズレている リファレンス画像 (入力してほしい画像)
  26. 26. Thanks @itoooon
  27. 27. –  –  –  – 
  28. 28. 0 1 2 3 .. .. n 0 1 2 3 … 89 90 Input Layer Output Layer Hidden Layer 52gal 52gal_deco 96gal 96gal_deco … Sschooter_wasabi wakaba
  29. 29. •  –  –  •  – 
  30. 30. •  –  –  –  – 
  31. 31. K近傍法 既存ImageNet 新ニューラルネット 精度 一部ユーザでは 低い 99.99+% 99.99+% モデルサイズ 20MB(現時点) 400MB (AlexNet) 100MB (GoogleNet) 50MB (Float32) 25MB (Float16) 分類にかかる時間 とても高速 ~300ms ~20ms •  • 
  32. 32. •  –  –  •  –  –  •  –  – 
  33. 33. © 07strikers

×