iOS_Consortium_20170120

1. 毎朝体操～体操を採点するAI～ 2017.1.20 来栖川電算山口陽平iOSコンソーシアム

2. 今日話すこと • 自己紹介＆会社紹介 • 毎朝体操 • 体操の採点 • 深層学習の導入 • まとめ • 付録（求人 & 技術紹介） 2

3. 自己紹介＆会社紹介とりあえず 3

4. 山口陽平 @melleo1978 • 所属＆経歴 – 有限会社来栖川電算取締役 – Mashup Awards 9 優秀賞受賞 – 名古屋工業大学大学院博士前期課程修了 – IPA未踏ソフトウェア創造事業採択 • 自己紹介企画～実装まで全部やる人 – 認識技術 & アルゴリズムの研究開発 • 文字認識，物体認識，動作認識，行動認識 – 言語処理系の研究開発 • 分散DB，仮想機械，コンパイラ • 好きなAWS AWS Lambda ※実物に髪の毛はありません。 4

5. 山口陽平 @melleo1978 • ［実践］画像認識を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い方や実装例 – SIFTなどの各種アルゴリズムや特定物体認識のしくみ – 精度改善への取り組み方

6. 来栖川電算設立 2003年（名古屋工業大学発ベンチャー）従業員 40人 • SF世界の技術を実現し、社会に役立てる – 人工知能技術のライセンス販売・研究・SI • 文字認識，物体認識，動作認識，行動認識 – スマホアプリの企画・制作・運営スマートライフ技術 NTTドコモ様との共同研究スマートドライブ技術大手自動車メーカー様むけメイドさんもふくめて 6

7. 来栖川電算様々なアルゴリズムを駆使する技術者集団 • 様々な認識技術 – 文字認識，物体認識，モーション認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベース・仮想機械などのアルゴリズムとバイナリハック • 高速化，並列化，分散化，省空間化，高精度化 • ビジネスを差別化する認識エコシステム – スケールに応じた仕組，競争力の自動強化 7

8. コミュニティ活動おせわになってたり、スタッフしてたりする 8

9. TensorFlow User Group http://tfug-tokyo.connpass.com/ 9

10. 機械学習名古屋 http://machine-learning.connpass.com/ 10

11. 『FP in Scala』読書会 @名古屋 http://fp-in-scala-nagoya.connpass.com/ 11

12. JAWS-UG https://jaws-ug.jp/ 12

13. 毎朝体操社員教育として始まったプロジェクトがウケた！ 13

14. 体操採点アプリだれでも、いつでも、どこでも、すぐできる • Android & iPhone ⇒ http://maiasa.jp/ 14

15. スマホを持って体操腕の動きを認識・採点し、素敵なレポートを作成 • 対応楽曲 ※近々、企業体操・ゆるキャラ体操を追加 – ラジオ体操（第１・第２） • 対応デバイス – スマホ，スマートウォッチ 15

16. ランキング体操のスコアを競い合う期間限定イベント • 消費者と企業を “体操” でつなぐ – イベント・製品・特産品・観光資源などの宣伝，美容健康に関する啓蒙・習慣化支援，… メーカー企業イベント企業教育機関福祉施設地方自治体参加主催 16

17. 200,000 DL 突破 115 ヶ国の 20 ～ 50 代女性が自宅・職場・旅先で活用 17 0.0% 10.0% 20.0% 30.0% 40.0% 18～24歳 25～34歳 35～44歳 45～54歳 55～64歳 65歳以上男 32.7 %女 67.3 % 15053 いいね！

18. マグニチュード3~4 みんなのラジオ体操の熱量を合計するとヤバい！ • 13.581 GJ2014年6月22日時点 – 実はラジオ体操は運動強度が高い！熱量状況 1.500 GJ 雷の平均のエネルギー 1.770 GJ 質量1kgの物体が木星の引力圏から脱出するために必要な運動エネルギー 2.000 GJ マグニチュード3の地震のエネルギー 4.184 GJ TNT火薬1トンの爆発のエネルギー 8.532 GJ 世界の人口1人あたりの年間消費電力量（2002年） 13.581 GJ 毎朝体操の総熱量 2014年6月22日時点 64.100 GJ マグニチュード4の地震のエネルギー運動強度状況 2.0 METS 電車の中で立っている 3.0 METS 庭仕事・野球の野手 3.5 METS 平地での自転車 4.0 METS ハイキング・速足 4.5 METS ラジオ体操 6.0 METS 階段昇降・卓球 9.0 METS 水泳・高強度の長距離走・筋力トレーニング 18

19. 知名度上昇中① ”風変わり” なアプリなので様々なメディアが注目 • Mashup Award 9 – 日本最大のアプリコンテストで優秀賞 • アプリソムリエ – 【石井寛子アプリ事始】「毎朝体操」超最先端ラジオ体操第１！？ • 週刊朝日 – 【おすすめアプリ生活】あなたの“ラジオ体操度”が測れる「毎朝体操」 • 日経新聞 – 職場で気軽に体ほぐしヨガ・体操… お助けアプリ • 文化放送 – ドコモ団塊倶楽部 – 8月23日（土）11:00 ～ 13:00 – アプリ紹介コーナー（生放送） 19

20. 知名度上昇中② 2016.10.13 NHK「おはよう日本」にも！ 20

21. 知名度上昇中③ 噂の “ラジオ体操する IT 勉強会” の実態が全国放送 21

22. 事例：アプリ化 JFE スチール株式会社『アクティブ体操®partⅡ』 • 転倒災害 – 職場の高齢化、現代人の運動不足により深刻化 • 転倒予防体操 – コケそうな状況で踏ん張れる足腰を作るため、股関節を中心に下肢の筋力、柔軟性、バランスの向上に効果のある運動で構成 22 2016年 12月～

23. 体操の採点簡単そうで難しい・・・リリース当初からずっーと改善ユーザ体験の根幹 23

24. 目標スマホ内で採点し、即座にレポート化 • たくさんのユーザに納得感が高いスコアを待たせることなく提供したい • 運営費を安くしたい 24

25. 機器の制約できるだけ多くの人に遊んでもらいたい • 機器を統一できない – みんなのスマホ・ウォッチ：〇 – ⇒ 古い機器・OSも視野に入れる必要がある。 – 指定のBLEデバイス：× – ⇒ 買う必要があると遊んでもらえない。 • 使えないセンサがある – 加速度センサ：○（ほぼ搭載されている） – ジャイロセンサ：×（一部搭載されていない） – ⇒ ONにすると、加速度にノイズがのったり、加速度の周波数が極端に低下する場合がある。 25

26. センサの制約腕の軌道を復元できるほどではない • やっかいなセンサたち – 低い解像度 – 狭い値域：±2G – 低い周波数：8Hz – ノイズ：インパルスがやたらはいる。 – バグ：正の最大値を超えると負になる。 – 余計なお世話：省電力モードではとれない。 – ⇒ ユーザはセンサを選べない。 26

27. 遊び方の制約個人差により全く異なるセンサ値になる • 装着の個人差 – 機器（スマホ・ウォッチ）、場所（左右の手・手首）、向き（真っ直ぐ・斜め） – ⇒ 気分や状況で変わる。どこにどうやって装着したかを正確に教えてもらうのは難しい。 • 動作の個人差 ※めちゃめちゃあってヤバい – 鏡、手の位置、手の返し、強さ、速さ、止め – ⇒ 気分で変わる。そもそも、うろ覚え。 27

28. ひねりだした方式ビッグデータ × 頑健なアルゴリズム × 軽量な実装 • 網羅的なデータ収集（ビッグデータ） – 個人差により全く異なるデータになる上、影響を受けない分析方法がなさそう（データが多様体を形成 ⇒ 部分空間ごとに異なる法則に支配）。 • 分類タスクへの還元（頑健なアルゴリズム） – 腕の軌道のズレが分かるほどのセンサではないが、腕の動きの種類なら分かりそう。 • リアルタイム採点（軽量な実装） – 待たせることなく採点できれば良さそう。 28

29. 網羅的なデータ収集音楽に合わせて体操 ⇒ ユーザによる教師作成 • 教師データ＝音楽の再生開始からの秒数 – 継続している人のデータを信用 – 一見してダメなデータを除外 29 これだけやってもかなりノイジー

30. 分類タスクへの還元時刻ごとに定められた腕の動きと一致するか？ • スコア＝腕の動きの一致率 30

31. リアルタイム採点体操中にスマホ内の計算資源だけで並行採点 • 効果 – 体操中に並行採点 ⇒ 快適なユーザ体験 – サーバレス採点 ⇒ 運営費の節約 • ※高速で省メモリな実装が必要 – 網羅的なデータで集団学習することで、機械的に生成された軽量特徴の組み合わせを獲得 – 様々な索引や近似による効率化 – OS・CPUアーキテクチャごとの最適化 31

32. 結果リリースしてもよい程度には出来た！ • たくさんのユーザに納得感が高いスコアを待たせることなく提供したい • 運営費を安くしたい 32

33. 深層学習の導入まだまだ十分ではないので 33

34. 手法の変更膨大な軽量特徴 × 集団学習 ⇒ 深層学習（DNN） • 旧手法の複雑さを参考に DNN を設計 34

35. 実験：小規模かなりチューンされた手法に勝つのは容易ではない 35 手法集団学習膨大な軽量特徴の組み合わせ深層学習パラメータ数はほどほど事例数オーグメント：なし訓練 1,409,410 個 1,409,410 個検証 145,452 個 145,452 個処理時間測定環境：サーバ訓練 0.5 h CPU 16.8 h 95.8 epoch GPU 検証 17.0 s CPU 1 core 72.0 s CPU 1 core 予測性能 Accuracy 78.5 % 79.1 % Recall 77.6 % 76.3 % Precision 78.2 % 81.2 % F-Measure 77.7 % 76.6 % ※予測性能はラジオ体操第１の運動ごとの評価値の平均である。ユーザから収集したデータ（ノイジー）なので良い値に見えないが、体感性能は良い。

36. 実験：大規模事例が増えるとパラメータが多い深層学習が有利に 36 手法集団学習改膨大な軽量特徴の組み合わせ深層学習改パラメータ数：ほどほど事例数オーグメント：なし訓練 27,822,604 個 27,822,604 個検証 27,453,840 個 27,453,840 個処理時間測定環境：サーバ訓練 8.0 h CPU 23.7 h 29.4 epoch GPU 検証 0.9 h CPU 1 core 6.2 h CPU 1 core 予測性能 Accuracy 83.2 % 86.8 % Recall 84.3 % 87.1 % Precision 82.8 % 87.6 % F-Measure 83.4 % 87.1 % ※どちらの手法も同じ改良が施されているので、それらを比較することはできるが、前の実験とは単純には比較できない。

37. 実験：大規模&リッチ深層学習はパラメータを増やすとどんどん賢くなる 37 手法深層学習改パラメータ数：ほどほど深層学習改パラメータ数：リッチ（9倍）事例数オーグメント：なし訓練 27,822,604 個 27,822,604 個検証 27,453,840 個 27,453,840 個処理時間測定環境：サーバ訓練 23.7 h 29.4 epoch GPU 6.6 h 2.9 epoch GPU 検証 6.2 h CPU 1 core 67.1 h CPU 1 core 予測性能 Accuracy 86.8 % 90.5 % Recall 87.1 % 90.6 % Precision 87.6 % 90.5 % F-Measure 87.1 % 90.5 % ※リッチな方はパラメータ数が多すぎてリリースできないため、パラメータを増やせば賢くなることが分かった時点で実験を終了した（まだまだ伸びしろあり）。

38. 最近のリリースでは毎週、ユーザから収集したデータを学習させまくる 38 手法深層学習改パラメータ数：ほどほど深層学習改Ⅱ パラメータ数：ほどほど事例数オーグメント：なし訓練 27,822,604 個 95,803,200 個検証 27,453,840 個 27,453,840 個処理時間測定環境：サーバ訓練 23.7 h 29.4 epoch GPU 47.6 h 75.0 epoch GPU 検証 6.2 h CPU 1 core 4.4 h CPU 1 core 予測性能 Accuracy 86.8 % 90.3 % Recall 87.1 % 90.6 % Precision 87.6 % 90.0 % F-Measure 87.1 % 90.2 % ※手法を改良（高速化）したため、処理時間が少なくなっている。改良は高速化のみなので、予測性能の向上は訓練事例数の増加によるものである。

39. 結果旧手法より飛躍的に賢くできたが・・・ • ハイパーパラメータの探索がつらい – うまく行くまでに相当たくさんの実験を行わなければならないことが多い。 – ⇒ TensorFlow Manager • 計算資源を節約しないと組み込めない – スマホへ組み込むには、計算の無駄を減らしたり、計算を近似したりする必要がある。 – ⇒ TensorFlow Compiler 39

40. TensorFlow Manager 深層学習の実験環境 40

41. TensorFlow Manager たくさんの実験を安全かつ楽に管理する環境 • 計算資源・実験データの管理を自動化 41

42. 研究が捗る実験サイクルが高速化実験の再現性が向上 • 計算資源の隔離 – 実験スクリプトが他と干渉しないので、実験が失敗したり、出力が混じったりしない。 • 計算資源の抽象化 – 計算資源（自社・お客様・クラウドなど）の変化に頑健な実験スクリプトを作りやすい。 • 便利な機能 – 実験が自動的に永続化され、すぐに再現できる。 – テンプレートから簡単に実験をはじめられる。 42

43. どんどん拡大 TensorFlow Manager のハイブリッドクラウド化 • 効率的な計算資源の割当 – 個人で計算資源を専有せず、全員で共有 • 様々な計算資源への対応 – クラウドの計算資源：普段使い – 自社で購入した計算資源：上記の節約 – お客様が弊社に設置する計算資源 – お客様の敷地にある計算資源 • 大量に使わせてもらえる。ありがたや。 43

44. TensorFlow Manager Docker 化できれば何でも OK 例：Chainer，… • 社内の計算資源の有効活用にいかが？ 44 実験

45. TensorFlow Compiler DNN の最適化コンパイラ 45

46. TensorFlow Compiler DNN を効率的な実行形式へ変換するツール • DNN の推論計算を近似して、高速化・省メモリ化 – 量子化，パラメータ削減，計算順序変更，計算共有，基底分解，確率的近似，カスケード，… • 限界性能を引き出す実装 – アーキテクチャに最適化されたコード（専用命令，キャッシュ戦略），… 46

47. 配布が捗るスマホやサーバへの組み込みがスムーズに • DNN の推論計算の効率化 – スマホなどに収まるように演算量やメモリ使用量を抑えることができる。 – 計算共有・順序変更・部分計算など応用に合わせた実装に変更できる。 • DNN のアーキテクチャの隠蔽 – ハックやノウハウを解析しづらくできる。 • コンパクトな実装・依存関係 – 容量が小さいのでアプリにも組み込める。 – 依存物が少なく実行環境で問題が起こりにくい。 47

48. まとめ体操採点に関する様々な取り組みをやった 48

49. スコアの推移ユーザ体験（納得感）が劇的に改善 • 平均点：+15点↑ 標準偏差：5点↓ 49 0 10 20 30 40 50 60 70 80 90 100 20150713 20150727 20150810 20150824 20150907 20150921 20151005 20151019 20151102 20151116 20151130 20151214 20151228 20160111 20160125 20160208 20160222 20160307 20160321 20160404 20160418 20160502 20160516 20160530 20160613 20160627 20160711 20160725 20160808 20160822 20160905 20160919 20161003 20161017 20161031 20161114 20161128 平均標準偏差

50. 参加者数の推移参加者だけでなく熱中している人が増えた • 参加者数 / イベント：3.5倍↑ 参加者数 / 日：4.5倍↑ 50 0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 20150713 20150727 20150810 20150824 20150907 20150921 20151005 20151019 20151102 20151116 20151130 20151214 20151228 20160111 20160125 20160208 20160222 20160307 20160321 20160404 20160418 20160502 20160516 20160530 20160613 20160627 20160711 20160725 20160808 20160822 20160905 20160919 20161003 20161017 20161031 20161114 20161128 参加者数 / イベント参加者数／日

51. まとめ深層学習は凄い！ TensorFlow も凄い！けど、・・・ • アルゴリズムより重要なことがある – どういうタスクに落とし込み、どんな価値を提供するか – 十分な質と量のデータをいかに早く安く調達するか – よく観察し、見込みがある仮説をたて、たくさん実験した人が強い – ＡＩの成長が、サービス・アプリの成長にそったものになっているか 51

52. 求人深層学習の仕事がしたい人！まじめな研究開発がしたい人！ 52

53. スタッフ募集中学生さん、転職者さん、力を貸して！ • 研究（認識技術） – 機械学習・アルゴリズム・高速化・省メモリ・画像・センサーに関する知識，Java，C++ • 開発（サーバサイド） – プロセス・アーキテクチャ・ミドルウェア・ネットワークに関する知識，Scala，Java，C++ • 開発（フロントエンド） – UI/UX・Android・iOSに関する知識，JavaScript • 企画（認識アプリ・認識サービス） – 新しい習慣を考える力，普及のためのアイデア 53

54. 新オフィス勉強会もやってるよ！メイドさんお手製の夕食も出るよ！ • 新オフィス – 移転：2016 年 6 月 – 面積：以前の 2 倍！ • 最寄駅 – JR中央線鶴舞駅 – 名古屋市営地下鉄 • 鶴舞線鶴舞駅 • 名城線矢場町駅 • 桜通線新栄駅 54 いつでも見学OK

55. 情景画像文字認識技術紹介① 55

56. 情景画像文字認識とはスマホなどで撮影した画像から文字を読み取る 56

57. 情景画像文字認識とは様々なパース、様々なレイアウト、様々な書体 57

58. 情景画像文字認識とはいわゆる “OCR” とは ”扱う画像” が違う • 悪環境下での文字認識 – 手書き・様々な書体・かすれ・点描・きついパース・統一性のない並び・逆光・陰・影・グラデーション・モアレなど • 使える場面 – 屋外でのスマホカメラを使った棚卸し – 車載カメラからの標識認識 – 商品パッケージからの成分情報抽出 – キーワードによるアルバム・ビデオの頭出し 58

59. 事例：タンゴチュウ Twitter で情景画像文字認識を体験できるサービス 59

60. 物体認識技術紹介② 60

61. 物体認識とは画像中の物体の種類・位置・姿勢を推定 61

62. 物体認識とは様々な向き・ポーズを学習させ見えの多様性を獲得 • 特定物体認識は素人でも簡単に使える – どんな画像を学習に使うかを学べばOK 62

63. 物体認識とはモノをカウント、見た目で分からない情報を表示 • 使える場面工場内で箱の仕分け体験や評判の調査ワインラベルで情報検索 AR付箋集めて応募キャンペーン ARフィギュア 63

64. 事例：1000sors 誰でも簡単に使えるクラウド型物体認識エンジン • 広い適用範囲 – 照明姿勢の変化に強く、様々な撮影環境に対応 • 驚異的な精度 – 数十万種類をほぼ完ぺきに識別 • 圧倒的な性能 – たった１台のＰＣで１００万種類を瞬時に識別 – 台数を増やせばリニアにスケールアウト 64

65. 事例：1000sors 手元の画像で精度や速度をすぐに確認可能 • ShotPreview for Android / iOS ①設定 ②撮影 ③確認 65

66. 事例：ShotSearch 表紙を撮影すると発売日や口コミが分かるアプリ • きついパースも、帯による隠れも、OK 66

67. 事例：ShotSearch 表紙を撮影すると発売日や口コミが分かるアプリ • よく似ていても、複数冊同時も、OK 67

68. 事例：Cellars 18万件のワインラベルを認識するアプリ • 世界で賞を獲得したアプリをダウンロード！ – Asia Smartphone Apps Contest • 広告マーケティング部門 Silver Award 2位 – 立命館大学学生ベンチャーコンテスト • 最優秀賞 NICT賞 68

69. 事例：画像認識API 画像を送るだけで写っている商品の情報を取得 • 登録商品：500 万件以上（昨年10月）の市販商品 – 書籍，DVD，CD，PCソフト，ゲームソフト，食品パッケージ，… どんどん増加中 • 定期更新：網羅性と認識精度の改善 – データ追加，パラメータ・アルゴリズム改良 69

70. 開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp 事例：画像認識API だれでも、かんたんに、マッシュアップ！ • docomo Developer support より提供中画像認識画像に写っている物体の情報を取得環境センサー日本全国の気温、降水量、紫外線量を取得音声認識話した内容を即座に文字に変換雑談対話自然な会話をやり取り知識Q&A 今知りたいことをピンポイントで回答音声合成入力した文字を読み上げトレンド記事抽出今人気の話題をジャンルやキーワードで検索文字認識画像の文字を読み取り発話理解要求を理解して、適切な機能を提示動作推定行っていた動作の推定 70

71. 事例：運転補助車載カメラに映る車や人などを検出・識別・追跡 • 単眼でも高精度、大きさ・距離も推定世界中の走行データを活用 71

72. 事例：注目領域抽出『人の視線を集めそう』な領域をヒートマップ化 • 認識の事前処理に – 交通標識・道路標示・信号・看板・商品パッケージなど • 教師作成の省力化に – 抽出領域をクラスタリングすることで、教師がなくても類似物体を検索可能 72 交通標識がありそう German Traffic Sign Dataset

73. モーション認識技術紹介③ 73

74. モーション認識とはセンサー値から動作や行動の種類や発生時刻を推定 74

75. 事例：動作推定API ドコモと来栖川電算の共同研究 • 加速度データから人の動作や行動を検出 – 静止，歩き，走り，自転車，睡眠，食事 • 動作と直接対応しない行動も検出可能 • スマホ・スマートウォッチに対応 – Android，Android Wear，… • 加速度データにアクセスできる API を備えたウェアラブルデバイス – ※次の画像は画像中のデバイスに対応していることを保証するものではありません。 75

76. 開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp 事例：動作推定API だれでも、かんたんに、マッシュアップ！ • docomo Developer support より提供中画像認識画像に写っている物体の情報を取得環境センサー日本全国の気温、降水量、紫外線量を取得音声認識話した内容を即座に文字に変換雑談対話自然な会話をやり取り知識Q&A 今知りたいことをピンポイントで回答音声合成入力した文字を読み上げトレンド記事抽出今人気の話題をジャンルやキーワードで検索文字認識画像の文字を読み取り発話理解要求を理解して、適切な機能を提示動作推定行っていた動作の推定 76

77. 事例：ライフログドコモの動作推定APIの応用例 77 開発者は今すぐ確認！ ⇒ https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_docs_id=127

78. 事例：毎朝体操だれでも、いつでも、どこでも、すぐできる • Android & iPhone ⇒ http://maiasa.jp/ 78

79. 事例：なりきり 2.0 ウェアラブルで現実のモノを操作する作品 • ゲームコントローラへの応用 – 格闘ゲームが遊べる程、応答が速く、精度もよい。 79

iOS_Consortium_20170120

iOS_Consortium_20170120

Recommended

More Related Content

What's hot

What's hot(6)

Viewers also liked

Viewers also liked(19)

Similar to iOS_Consortium_20170120

Similar to iOS_Consortium_20170120(20)

More from 陽平山口

More from 陽平山口(20)

Recently uploaded

Recently uploaded(9)