2018/07/26 Game change by Deep Learning and tips to make a leap

1. THE AI 2018 2nd ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社シニアマシンラーニングリサーチャー小林由幸 Deep Learningのもたらすゲームチェンジと、飛躍へのヒント

2. 2 自己紹介小林由幸 1999年にソニーに入社、2003年より機械学習技術の研究開発を始め、音楽解析技術「12音解析」のコアアルゴリズム、認識技術の自動生成技術「ELFE」などを開発。近年は「Neural Network Console」を中心にディープラーニング関連の技術・ソフトウェア開発を進める一方、機械学習普及促進や新しいアプリケーションの発掘にも注力。こばやしよしゆき

3. 3 Deep Learningのもたらすゲームチェンジ

4. 4 28.2 25.8 26.1 16.4 11.7 6.7 3.57 2.99 2.25 1 10 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 Top-5ErrorRate[%] Year Deep Learning従来型機械学習圧倒的な認識性能を示すDeep Learning 従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある人の認識誤差？画像認識における精度向上年率50%に迫る誤差の改善

5. 5 人の認識性能を超えたことで、機械学習の実用化が急加速人の認識性能認識性能 2015 20182012 実用化機械学習を使えば自動化できるが、人の品質にはかなわない。適用できるシーンは限定的。 Deep Learningを用いるほうが人が作業するよりも高品質、さらに速くて安い。相転移

6. 6 Deep Learningを用い、認識機を作成するために必要な作業 … … … … … … … 画像認識機（Neural Network） Input：画像 Output：画像認識結果「2」 1. データセットを用意する入力と、期待する出力のペアを多数用意（教材の準備に相当） 2. ニューラルネットワークの構造を設計する（脳の構造設計に相当） 3. 用意したデータセットで、設計したニューラルネットワークを学習する従来の機械学習手法と比較して、高い性能を実現できると同時に扱いやすい技術でもある … 「0」 … 「1」 … 「2」 … 「3」 … 「4」 … 「5」 … 「6」 … 「7」 … 「8」 … 「9」

7. 7 入出力次第で広がるDeep Learningの活用 …入力出力実現する機能入力出力画像認識画像カテゴリ文章の自動仕分け文章文章カテゴリ音声認識音声文字列機械翻訳英単語列日単語列人工無能（チャットボット）入力発話の単語列期待応答の単語列画像加工入力画像出力画像ロボット制御ロボットのセンサロボットのアクチュエーター … Deep Learningは高い汎用性を備えた技術。応用範囲はどんどん広がっている実現する機能

8. 8 Deep Learningにより大きく変わる機能開発の概念従来機能をモジュールに分解して開発 Deep Learning時代 End-to-end学習 • 必要な機能をモジュールに分解（設計） • プログラムにより各モジュールを実装実現できる機能の複雑さ∝プログラム量 • 入力から出力を得る機能をデータからの学習で直接獲得実現できる機能の複雑さ∝データ量高機能、高性能を実現するために求められるものは、設計ノウハウからデータに画像勾配計算手書き数字認識画像特徴抽出前処理ヒストグラム判別分析

9. 9 Deep Learningのもたらすゲームチェンジ • Deep Learningは簡単。知的処理の開発は、一般の技術者でも十分可能に • Deep Learningは汎用。画像認識以外にも様々な機能を実現できる • 機能分解型の設計から、End-to-End学習による機能開発へ • Deep Learningにおいて、性能を決定づけるのはノウハウではなくデータ • 企業の価値創造に求められるスキルセットが変化 • 需要増：「何を実現すればよいか」を見出す能力、データを集める能力 • 需要減：機能分解型の設計ノウハウ企業によっては戦略の見直しが必要に

10. 10 AIは破壊的テクノロジー半導体デジタルコンピュータインターネットクラウド（AI）破壊的テクノロジーの特徴 • 今まで難しかったことを簡単にする • 応用範囲が極めて広い • 技術の進歩が、技術の進歩自身を加速する • 使う側に意識の変容を求める • 広大な市場を創出する早期の取り組みが極めて有利に働く

11. 11 ソニーのDeep Learningへの取り組みと活用事例

12. 12 ソニーのDeep Learningに対する取り組み Neural Network Libraries / Consoleにより、効率的なAI技術の研究開発を実現 2000年以前～機械学習の研究開発 2010年～ Deep Learningの研究開発 2011年～初代コアライブラリ 2013年～第二世代コアライブラリ 2016年～第3世代コアライブラリ Neural Network Libraries 2015年～ GUIツール 2010年～ Deep Learning開発者向けソフトウェアの開発 Deep Learningを用いた認識技術等の開発者が用いるソフトウェア群技術開発効率を圧倒的に向上 Neural Network Console 17/8/17 Windows版無償公開 18/5/9 クラウド版正式サービス開始 17/6/27 オープンソースとして公開

13. 13 Neural Network Libraries / Consoleとは Neural Network Libraries ・Deep Learning研究開発者向けオープンソースフレームワーク（他社製既存Deep Learning FWに相当）・コーディングを通じて利用→高い自由度・最先端の研究や製品への実装にも柔軟に対応 Neural Network Console ・研究や、商用レベルの技術開発に対応したDeep Learningツール・様々なサポート機能→高い開発効率・GUIによるビジュアルな操作→敷居が低い主なターゲット・じっくりと研究・開発に取り組まれる方・プログラミング可能な研究、開発者 import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 主なターゲット・特に開発効率を重視される方・はじめてDeep Learningに触れる方研究開発における課題を解決し、Deep Learningの研究開発を効率化するソフトウェア学習エンジンとして Neural Network Librariesを利用

14. 14 Deep Learning 応用技術開発の流れコアアルゴリズム開発開発環境商品技術開発各事業会社応用技術開発 R&D および各事業会社コア技術開発 R&D Neural Network Libraries/ Console ○○認識機等、各種Deep Learning応用技術の開発各種製品、サービスへのDeep Learning応用技術の搭載 … 研究開発者だけではなく、各事業部の担当者が直接Deep Learningを活用 …

15. 15 Neural Network Libraries / Consoleのソニーグループ内活用事例価格推定ソニー不動産の「不動産価格推定エンジン」に、Neural Network Librariesが使用されています。この技術を核として、ソニー不動産が持つ査定ノウハウやナレッジをベースとした独自のアルゴリズムに基づいて膨大な量のデータを解析し、不動産売買における成約価格を統計的に推定する本ソリューションが実現されました。本ソリューションは、「おうちダイレクト」や、「物件探索マップ」「自動査定」など、ソニー不動産の様々なビジネスに活用されています。ジェスチャー認識ソニーモバイルコミュニケーションズの「Xperia Ear」のヘッドジェスチャー認識機能にNeural Network Librariesが使用されています。「Xperia Ear」に搭載されているセンサーからのデータを元に、ヘッドジェスチャー認識機能により、首を縦や横に振るだけで、「Xperia Ear」に搭載されているアシスタントに対して「はい／いいえ」の応答や、着信の応答／拒否、通知の読み上げキャンセル、次／前のトラックのスキップを行えますデジタルペーパーソニーのデジタルペーパー「DPT-RP1」の手書きマーク検索のうち、＊の認識にNeural Network Librariesが使用されています。文書を読んでいて「ここが大切」「ここを後で読みたい」と思ったら、＊や☆のマークをさっと手書きします。手書きマークを認識する機能により、ページ数の多い文書でも、マークを付けた箇所を素早く検索し、開くことができます。既にソニーグループ内で多数の商品化・実用化実績

16. 16

17. 17 Neural Network Libraries/Console開発コンセプト • 大幅に不足していると言われるDeep Learningの研究開発者を育成する • これからDeep Learningを始ようとするユーザにとっての敷居をとことん下げる • 使っている間に、いつのまにかDeep Learningのエキスパートへ • Deep Learningの研究開発者に、目的達成のためのハイウェイを提供する • 最先端研究・商用レベルの技術開発に必要なツールを提供する • Deep Learningの研究開発における面倒を機能で徹底的に解決し、高い開発効率を実現する初心者にとってもエキスパートへのショートカットとして機能する

18. 18 Neural Network Libraries最新情報 • 17/6/27 v0.9.1 最初のOSSバージョン • 17/7/22 v0.9.2 Python 3のサポート • 17/8/3 v0.9.3 マルチGPUのサポート • 17/8/22 v0.9.4 C++のみによる推論機能 • 17/11/8 v0.9.5 MacOSビルドの正式対応など多数の改善 • 17/11/27 v0.9.6 マルチノードのサポート • 17/12/7 v0.9.7 様々な改善 • 18/3/6 v0.9.8 分散学習の改善 • 18/3/28 v0.9.9 Mixed Precision学習対応 • 18/6/27 v1.0.0 ONNX対応、C++学習機能、C Runtime機能、ほか様々な改善 nnabla.org github.com/sony/nnabla https://github.com/sony/nnabla/releases https://github.com/sony/nnabla-ext-cuda/releases より使いやすく、より高速に、より幅広い環境で利用可能に

19. 19 Neural Network Console最新情報 • ニューラルネットワークの学習には膨大な演算が必要 • 必要な演算量は主に扱うデータの量とニューラルネットワークの構造に依存 • GPU、マルチGPUを用いると、学習完了までの時間を大幅に短縮できる • ネットワークにもよるが、10倍～数百倍高速に学習できる • 同じ開発期間でより多くの試行錯誤を行うことが可能に • 環境のセットアップ、メンテナンス作業不要で豊富な GPUリソースを利用可能 • 開発者はDeep Learningの開発作業に集中できる最先端研究者と同等の環境（1ジョブあたり8GPU×無制限の並列利用）をGUI環境から利用可能 ※計算リソース利用料は学習・評価実行中のみの従量課金

20. 20 Neural Network Libraries/Console 優れたDeep Learningの開発環境を提供し、需要の急拡大するAI技術の普及・発展に貢献 Neural Network Libraries https://nnabla.org/ Neural Network Console https://dl.sony.com/ import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 実現 • Deep Learning技術者の迅速な育成 • 効率的なDeep Learning応用技術の研究開発～実用化様々な特長を兼ね備えた最新世代のDeep Learningフレームワーク商用クオリティのDeep Learning応用技術開発を実現する統合開発環境

21. 21 まとめ Deep Learningは圧倒的に高い性能を実現するだけではなく、簡単で汎用。今後急速な活用・普及拡大が予想される Deep Learningの開発はデータトリブンなEnd-to-end学習。従来からの技術開発の在り方を変えるソニーではNeural Network Libraries/Consoleを社内に展開することで、効率的なDeep Learning人材の育成と応用技術の開発、実用化を実現してきたゲームチェンジを受け入れ、飛躍につなげるためには早期の取り組みが重要。積極活用し、より豊かな社会の実現を

22. SONYはソニー株式会社の登録商標または商標です。各ソニー製品の商品名・サービス名はソニー株式会社またはグループ各社の登録商標または商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。

2018/07/26 Game change by Deep Learning and tips to make a leap

2018/07/26 Game change by Deep Learning and tips to make a leap

Recommended

More Related Content

What's hot

What's hot(20)

Similar to 2018/07/26 Game change by Deep Learning and tips to make a leap

Similar to 2018/07/26 Game change by Deep Learning and tips to make a leap(20)

2018/07/26 Game change by Deep Learning and tips to make a leap