JAWSDAYS2016 ランチタイムセッション

JAWSDAYS2016 ランチタイムセッション
実践して学ぶ認識技術 2016.3.12 山口陽平JAWSDAYS2016 ランチタイムセッション発表資料 1
今日話すこと • 自己紹介＆会社紹介 • 認識技術の学び方 • 実践の具体例 • リリース＆コンテスト • 求人 • 技術紹介つぶやくなら ⇒ #jawsdays #jawsug 2
自己紹介＆会社紹介とりあえず 3
山口陽平 @melleo1978 • 所属＆経歴 – 有限会社来栖川電算取締役 – Mashup Awards 9 優秀賞受賞 – 名古屋工業大学大学院博士前期課程修了 – IPA未踏ソフトウェア創造事業採択 • 自己紹介企画～実装まで全部やる人 – 認識技術 & アルゴリズムの研究開発 • 文字認識，物体認識，動作認識，行動認識 – 言語処理系の研究開発 • 分散DB，仮想機械，コンパイラ • 好きなAWS S3 × API Gateway × Lambda ※実物に髪の毛はありません。 4
山口陽平 @melleo1978 • ［実践］画像認識を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い方や実装例 – SIFTなどの各種アルゴリズムや特定物体認識のしくみ – 精度改善への取り組み方
来栖川電算設立 2003年（名古屋工業大学発ベンチャー）従業員 36人 • SF世界の技術を実現し、社会に役立てる – 人工知能技術のライセンス販売・研究・SI • 文字認識，物体認識，動作認識，行動認識 – スマホアプリの企画・制作・運営スマートライフ技術 NTTドコモ様との共同研究スマートドライブ技術大手自動車メーカー様むけメイドさんもふくめて 6
来栖川電算様々なアルゴリズムを駆使する技術者集団 • 様々な認識技術 – 文字認識，物体認識，モーション認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベース・仮想機械などのアルゴリズムとバイナリハック • 高速化，並列化，分散化，省空間化，高精度化 • ビジネスを差別化する認識エコシステム – スケールに応じた仕組，競争力の自動強化 7
認識技術の学び方来栖川電算で行われている 8
方針とにかくたくさんデータを見て試した人が強い • 座学 & 演習 – 教わったことを自分の力で理解する。 – 実践中に必要になったらやるスタンスでよい。 • 実践 – 教わったことを現実のデータに適用し、様々な組み合わせを試す。実験量命！ – チームメンバーと協力して認識システム全体を設計する。運用の中で、ユーザ体験の改善に最も貢献する施策を見つけ出し、実施する。 9
座学＆演習自分で調査・実装・実験できる人になる • 座学 – 考え方、認識案件（不透明で曖昧）に対するスタンス、数学、論文の読み方などを学ぶ。とっかかり（検索に使える知識）を得る。 • 演習 – 様々なアルゴリズムを比較し、アイデアのエッセンスを学ぶ。 – 実験によりアルゴリズムの振る舞いを理解する。実装の観点からも理解する。 10
実践現実のデータに立ち向かう方法を学ぶ • 全体の設計 & 役割交代 ⇒ 俯瞰的視点 11
実践の具体例具体的に課題を解決して技術を磨く 12
題材：体操の採点腕の動きを採点し、レポート化 • 方針：スマホ側で採点したい – ユーザ数：できるだけ多く – 体験：さくっと納得感高く – 費用：できるだけ安く 13
具体的制約：機器できるだけ多くの人に遊んでもらいたい • 機器を統一できない – みんなのスマホ・ウォッチ：〇 – ⇒ 古い機器・OSも視野に入れる必要がある。 – 指定のBLEデバイス：× – ⇒ 買う必要があると遊んでもらえない。 • 使えないセンサがある – 加速度センサ：○（ほぼ搭載されている） – ジャイロセンサ：×（一部搭載されていない） – ⇒ ONにすると、加速度にノイズがのったり、加速度の周波数が極端に低下する場合がある。 14
具体的制約：センサ腕の軌道を復元できるほどではない • やっかいなセンサたち – 低い解像度 – 狭い値域：±2G – 低い周波数：8Hz – ノイズ：インパルスがやたらはいる。 – バグ：正の最大値を超えると負になる。 – 余計なお世話：省電力モードではとれない。 – ⇒ ユーザはセンサを選べない。 15
具体的制約：遊び方個人差により全く異なるセンサ値になる • 装着の個人差 – 機器（スマホ・ウォッチ）、場所（左右の手・手首）、向き（真っ直ぐ・斜め） – ⇒ 気分や状況で変わる。正しい情報を教えてもらうことは難しい。 • 動作の個人差 – 鏡、手の位置、手の返し、強さ、速さ、止め – ⇒ 気分で変わる。そもそも、うろ覚え。 16
導かれた実現方式遊んで欲しいからスマホの加速度センサだけでやる • 腕の軌道を復元できるほどではない – 正しい軌道からのズレなどの精密な計算を必要とする採点はできない。 – ⇒ 頑健なアルゴリズム • 個人差により全く異なるセンサ値になる – センサ値は多様体を成しており、部分空間ごとに異なる法則に支配されている。 – ⇒ 網羅的なデータ収集 17
頑健なアルゴリズム時刻ごとに動作の正しさを判定する問題へ還元 • スコア＝正しい動作時間の割合 18
網羅的なデータ収集音楽に合わせて体操 ⇒ ユーザによる教師作成 • 教師データ＝音楽の再生開始からの秒数 – 継続している人のデータを信用してよい。 – みんなラジオ体操だと分かる動作をしている。 19
改善：認識精度大域で通用する特徴を考案することが難しいので • 職人が考えるから機械が考えるへ – 大量の軽量特徴の組み合わせの学習 – 複雑な非線形関数の学習 – 距離空間や表現の学習 • 取り組む中で、様々な手法を理解 – アンサンブル学習，深層学習，表現学習，クラスタリング，次元圧縮，データオーギュメンテーション，背景知識の埋め込み，… 20
改善：資源節約ユーザ数に比例しない運営費用にしたいので • 素朴な実装から高度な実装へ – 古いスマホでも動作する認識アルゴリズム – 大量のデータをさばける学習アルゴリズム • 取り組む中で、様々な実装技術を理解 – 探索のための索引，積分のための索引，簡潔データ構造，多項式近似，確率的近似，ソフトカスケード，… – キャッシュ，パイプライン，分岐予測，専用命令，GPU，FPGA，… 21
まとめ体操の採点は認識技術を学ぶのに適している • いろいろな実験ができる – 機器・装着・人の違いによる精度の違いを理解することで手法を評価できる。 • データを調達しやすい – 自分でデータを生成しやすい。データが増えると課題や使える手法が変わることを学べる。 • 様々なハードウェアがある – 要件や使える資源によって手法が変わることを学べる。実装技術も磨ける。 22
リリース＆コンテスト作ったからには 23
100,000 DL 突破 100↑ ヶ国の職場・自宅・旅先で 20 ～ 50 代の女性に人気 24 15053 いいね！
知名度上昇中 ”風変わり” なアプリなので様々なメディアが注目 • Mashup Award 9 – 日本最大のアプリコンテストで優秀賞 • アプリソムリエ – 【石井寛子アプリ事始】「毎朝体操」超最先端ラジオ体操第１！？ • 週刊朝日 – 【おすすめアプリ生活】あなたの“ラジオ体操度”が測れる「毎朝体操」 • 日経新聞 – 職場で気軽に体ほぐしヨガ・体操… お助けアプリ • 文化放送 – ドコモ団塊倶楽部 – 8月23日（土）11:00 ～ 13:00 – アプリ紹介コーナー（生放送） 25
マグニチュード3~4 みんなのラジオ体操の熱量を合計するとヤバい！ • 13.581 GJ2014年6月22日時点 – 実はラジオ体操は運動強度が高い！熱量状況 1.500 GJ 雷の平均のエネルギー 1.770 GJ 質量1kgの物体が木星の引力圏から脱出するために必要な運動エネルギー 2.000 GJ マグニチュード3の地震のエネルギー 4.184 GJ TNT火薬1トンの爆発のエネルギー 8.532 GJ 世界の人口1人あたりの年間消費電力量（2002年） 13.581 GJ 毎朝体操の総熱量 2014年6月22日時点 64.100 GJ マグニチュード4の地震のエネルギー運動強度状況 2.0 METS 電車の中で立っている 3.0 METS 庭仕事・野球の野手 3.5 METS 平地での自転車 4.0 METS ハイキング・速足 4.5 METS ラジオ体操 6.0 METS 階段昇降・卓球 9.0 METS 水泳・高強度の長距離走・筋力トレーニング 26
ユーザの声単なる体操実績入力アプリではありえない反響 • 毎朝続いてます！体が軽くなりました。 27
求人さぁ、いっしょに学び、驚くような体験を届けよう！ 28
スタッフ募集中学生さん、転職者さん、力を貸して！ • 研究（認識技術） – 機械学習・アルゴリズム・高速化・省メモリ・画像・センサーに関する知識，Java，C++ • 開発（サーバサイド） – プロセス・アーキテクチャ・ミドルウェア・ネットワークに関する知識，Scala，Java，C++ • 開発（フロントエンド） – UI/UX・Android・iOSに関する知識，JavaScript • 企画（認識アプリ・認識サービス） – 新しい習慣を考える力，普及のためのアイデア 29
オフィス必要なら増やすよ！在宅もOK • 気軽に遊びに来てね！ – 見学できて、ご飯も食べれて、泊まれる。名古屋本社（2013年フロア増設）イオン千種・名大病院・名工大の近く上野支社（2012年開設）入谷駅・鶯谷駅・上野駅の近く 30
情景画像文字認識技術紹介① 31
情景画像文字認識とはスマホなどで撮影した画像から文字を読み取る 32
情景画像文字認識とは様々なパース、様々なレイアウト、様々な書体 33
情景画像文字認識とはいわゆる “OCR” とは ”扱う画像” が違う • 悪環境下での文字認識 – 手書き・様々な書体・かすれ・点描・きついパース・統一性のない並び・逆光・陰・影・グラデーション・モアレなど • 使える場面 – 屋外でのスマホカメラを使った棚卸し – 車載カメラからの標識認識 – 商品パッケージからの成分情報抽出 – キーワードによるアルバム・ビデオの頭出し 34
事例：タンゴチュウ Twitter で情景画像文字認識を体験できるサービス 35
物体認識技術紹介② 36
物体認識とは画像中の物体の種類・位置・姿勢を推定 37
物体認識とは様々な向き・ポーズを学習させ見えの多様性を獲得 • 特定物体認識は素人でも簡単に使える – どんな画像を学習に使うかを学べばOK 38
物体認識とはモノをカウント、見た目で分からない情報を表示 • 使える場面工場内で箱の仕分け体験や評判の調査ワインラベルで情報検索 AR付箋集めて応募キャンペーン ARフィギュア 39
事例：1000sors 誰でも簡単に使えるクラウド型物体認識エンジン • 広い適用範囲 – 照明姿勢の変化に強く、様々な撮影環境に対応 • 驚異的な精度 – 数十万種類をほぼ完ぺきに識別 • 圧倒的な性能 – たった１台のＰＣで１００万種類を瞬時に識別 – 台数を増やせばリニアにスケールアウト 40
事例：1000sors 手元の画像で精度や速度をすぐに確認可能 • ShotPreview for Android / iOS ①設定 ②撮影 ③確認 41
事例：ShotSearch 表紙を撮影すると発売日や口コミが分かるアプリ • きついパースも、帯による隠れも、OK 42
事例：ShotSearch 表紙を撮影すると発売日や口コミが分かるアプリ • よく似ていても、複数冊同時も、OK 43
事例：Cellars 18万件のワインラベルを認識するアプリ • 世界で賞を獲得したアプリをダウンロード！ – Asia Smartphone Apps Contest • 広告マーケティング部門 Silver Award 2位 – 立命館大学学生ベンチャーコンテスト • 最優秀賞 NICT賞 44
事例：運転補助車載カメラに映る車や人などを検出・識別・追跡 • 単眼でも高精度、大きさ・距離も推定世界中の走行データを活用 45
事例：画像認識API 画像を送るだけで写っている商品の情報を取得 • 登録商品：500 万件以上（昨年10月）の市販商品 – 書籍，DVD，CD，PCソフト，ゲームソフト，食品パッケージ，… どんどん増加中 • 定期更新：網羅性と認識精度の改善 – データ追加，パラメータ・アルゴリズム改良 46
開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp 事例：画像認識API だれでも、かんたんに、マッシュアップ！ • docomo Developer support より提供中画像認識画像に写っている物体の情報を取得環境センサー日本全国の気温、降水量、紫外線量を取得音声認識話した内容を即座に文字に変換雑談対話自然な会話をやり取り知識Q&A 今知りたいことをピンポイントで回答音声合成入力した文字を読み上げトレンド記事抽出今人気の話題をジャンルやキーワードで検索文字認識画像の文字を読み取り発話理解要求を理解して、適切な機能を提示動作推定行っていた動作の推定 47
モーション認識技術紹介③ 48
モーション認識とはセンサー値から動作や行動の種類や発生時刻を推定 49
事例：動作推定API ドコモと来栖川電算の共同研究 • 加速度データから人の動作や行動を検出 – 静止，歩き，走り，自転車，睡眠，食事 • 動作と直接対応しない行動も検出可能 • スマホ・スマートウォッチに対応 – Android，Android Wear，… • 加速度データにアクセスできる API を備えたウェアラブルデバイス – ※次の画像は画像中のデバイスに対応していることを保証するものではありません。 50
開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp 事例：動作推定API だれでも、かんたんに、マッシュアップ！ • docomo Developer support より提供中画像認識画像に写っている物体の情報を取得環境センサー日本全国の気温、降水量、紫外線量を取得音声認識話した内容を即座に文字に変換雑談対話自然な会話をやり取り知識Q&A 今知りたいことをピンポイントで回答音声合成入力した文字を読み上げトレンド記事抽出今人気の話題をジャンルやキーワードで検索文字認識画像の文字を読み取り発話理解要求を理解して、適切な機能を提示動作推定行っていた動作の推定 51
事例：ライフログドコモの動作推定APIの応用例 52 開発者は今すぐ確認！ ⇒ https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_docs_id=127
事例：毎朝体操だれでも、いつでも、どこでも、すぐできる • Android & iPhone ⇒ http://maiasa.jp/ 53
事例：なりきり 2.0 ウェアラブルで現実のモノを操作する作品 • ゲームコントローラへの応用 – 格闘ゲームが遊べる程、応答が速く、精度もよい。 54

JAWSDAYS2016 ランチタイムセッション

Check these out next

JAWSDAYS2016 ランチタイムセッション

Recommended

More Related Content

Slideshows for you(20)

Similar to JAWSDAYS2016 ランチタイムセッション(20)

More from 陽平山口(20)

Recently uploaded(20)