Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

最適化の視点から見た人工知能とSENSY社でのリサーチャー育成の取り組み

1,303 views

Published on

「第19回 Machine Learning 15minutes!」での講演資料です。

Published in: Engineering
  • Be the first to comment

最適化の視点から見た人工知能とSENSY社でのリサーチャー育成の取り組み

  1. 1. SENSY株式会社 取締役CRO (Chief Research Officer) SENSY 人工知能研究所 代表 岡本 卓 最適化の視点から見た人工知能と SENSY社でのリサーチャー育成の取り組み
  2. 2. © Copyright SENSY Inc. 20171 会社プロフィール 社名:SENSY株式会社 (旧カラフル・ボード㈱) 本社:渋谷区渋谷 設立:2011年11月 (2014年SENSY事業開始) 従業員数:33人 資本金:10.4億円(剰余金含) 主要株主:慶應大学VC等
  3. 3. © Copyright SENSY Inc. 20172 自己紹介  岡本 卓 SENSY株式会社取締役 CRO (Chief Research Officer) SENSY 人工知能研究所 代表 千葉大学 グローバルプロミネント研究基幹 特任准教授 博士(工学)  2007年3月 慶應義塾大学大学院理工学研究科博士課程修了 2007年4月 千葉大学大学院工学研究科 助教 2014年4月 千葉大学大学院工学研究科 准教授 2017年10月 SENSY (旧:カラフル・ボード) 株式会社にJoin  専門:システム工学,最適化理論,ソフトコンピューティング,計算知能,複雑系
  4. 4. © Copyright SENSY Inc. 20173 人の感情ロジックである「感性 (センス)」に着目 感性
  5. 5. © Copyright SENSY Inc. 20174 感性 人の感情ロジックである「感性 (センス)」に着目 感性 Who どんな人が? What 何に対して When いつ Where どこで How どう感じたか Why
  6. 6. © Copyright SENSY Inc. 20175 「感性」をディープラーニング技術で解析 Who どんな人が? What 何に対して When いつ Where どこで How どう感じたか
  7. 7. © Copyright SENSY Inc. 20176 「感性」を学習するパーソナル人工知能:SENSY SENSYは、ユーザーの自由な時間を生み出すために、「2人目の自分」として24時間働い てくれる自分の分身のような人工知能ロボットである。 感性を覚えさせる 生活をサポート 感性 パーソナル人工知能ユーザー 生活データ
  8. 8. © Copyright SENSY Inc. 20177 ひとり一台のパーソナル人工知能 ユーザーひとりひとりがパーソナル人工知能SENSYを持つ時代を目指す。
  9. 9. © Copyright SENSY Inc. 20178 クラウド上にパーソナル人工知能のプラットフォームを構築 Fashion Cosmetics Music Gourmet Movie HairHealthcare Travel Book Interior Advertisement News
  10. 10. © Copyright SENSY Inc. 20179 SENSY CLOUDを活用したアプリケーション群 Original app Partner app SENSY COOK AI Chat BOT Fashion App AI Fashion Stylist AI Sommelier AI Chat BOT for Biz AI Merchandiser Healthcare app for Consumerfor Business Suit Advice BOT Wine App AI Marketer
  11. 11. © Copyright SENSY Inc. 201710 AI人材は空前の人手不足  SENSY社の置かれている状況  資金調達を経て研究開発の規模を急速に拡大中  AI人材の即戦力の確保が急務 AI人材が2020年には国内で約48,000人不足する見込み ̶ 経産省 IT人材の最新動向と将来推計に関する調査結果(平成28年6月10日)  Wantedlyで「これぞ」と思った方は最近転職されているパターンが多い!!  さまざまな大学・企業・NPO等で育成プログラムが走ってはいるが… 新卒・インターン採用では間に合わない!!  AI技術に興味のあるITエンジニアは多い リサーチャー育成プログラム
  12. 12. © Copyright SENSY Inc. 201711 リサーチャー育成プログラム (1)  プログラム概要 第0章:numpy, matplotlib, pandas演習 第1章:最適化理論の基礎 第2章:機械学習概論と多層パーセプトロン 第3章:多層パーセプトロンの学習 第4章:畳込みニューラルネットワーク 第5章:リカレントニューラルネットワーク 第6章:種々の機械学習技術 第7章:AI技術実践
  13. 13. © Copyright SENSY Inc. 201712 リサーチャー育成プログラム (2)  第1章 最適化理論の基礎  [講義] 最適化問題の例,最適化問題の分類,最適化手法  [演習] 最急降下法の実装 (フルスクラッチ)  第2章 機械学習概論と多層パーセプトロン  [講義] 機械学習の考え方,多層パーセプトロンモデル  [演習] 多層パーセプトロンの実装 (フルスクラッチ)  第3章 多層パーセプトロンの学習  [講義] 誤差関数と損失関数,ミニバッチ学習,誤差逆伝播法  [演習] 多層パーセプトロンの学習 (フルスクラッチ)  第4章 畳込みニューラルネットワーク (CNN)  [講義] 畳込みニューラルネットワークの解説  [演習] Chainerを用いた多層パーセプトロンとCNN実装
  14. 14. © Copyright SENSY Inc. 201713 リサーチャー育成プログラム (3)  第5章 リカレントニューラルネットワーク  [講義] リカレントニューラルネットワークの解説  [演習] Chainerを用いたLSTM実装  第6章 種々の機械学習技術  [講義] 線形回帰, SVM, クラスタリング, 決定木とアンサンブル学習  [演習] scikit-learnを用いたアルゴリズム実装  第7章 AI技術実践  [講義] SENSY社内のプロジェクトでのAI技術応用についての解説 2名のITエンジニアが11月からResearcherチームに移籍
  15. 15. © Copyright SENSY Inc. 201714 《エンジニア向け》DeepLearning ワークショップ  内容  13:00-14:00 (講義1)機械学習概説  14:00-15:00 (演習1)scikit-learnを用いた演習  15:00-16:00 (講義2)Neural NetworksとDeep Learning  16:00-17:00 (演習2)Chainerを用いた演習  演習の実施形態  Jupyter Notebookの利用  ブラウザさえあれば環境構築なしで演習ができる  弊社内GPUサーバ2台 (1台予備) で40名を対応 (大きなトラブルもなく終了)  実施結果  connpassで募集。募集開始後数日で満席 (定員40名)。  アンケート結果は概ね好評  ちょっと詰め込みすぎ!!という意見がちらほら。  対象  Pythonの基本文法を理解しているITエンジニア
  16. 16. © Copyright SENSY Inc. 201715 どの辺がうけるか (逆に他で説明されていないこと)  最適化の視点から見た機械学習の原理  識別・分類・回帰すべてが関数近似問題  関数近似問題:パラメータの最適化問題  ニューラルネットワークの近似定理  隠れ層が1つのMLPにおいてニューロン数をうまく設定すれば, 任意の関数を近似可能  上記の原理と組み合わせて,N. N.は万能な学習器であることを理解  CI実装技術  ソフトウェア環境  なぜPythonなのか,なぜChainer / TensorflowなどのFrameworkを用いるのか。  ハードウェア環境  実際に使っているGPUサーバのスペック・値段を紹介  AWS・GCPを使った場合の比較もあるといいかも
  17. 17. 教師あり学習(1)  教師あり学習の用語と流れ 入力 データ  いわゆる生データ(画素値,ユーザID,色ID等) 特徴量:学習器にとって都合の良い入力データの特徴を表す量 e.g. 輝度勾配 (変化量) のヒストグラム 学習器・予測器・識別器・分類器 出力データ “5” “0” “4” “1” “9”
  18. 18. 教師あり学習(2)  直線による回帰  各学習データ点での真値からの誤差の合計が最小になるよう に,パラメータ , を選ぶ minimize , ⋯  予測結果は直線上の点(青点線)となる
  19. 19. 教師あり学習(3)  線形分類  分類問題:分類するための線(面)を与える関数を決める問題 0.3
  20. 20. 教師あり学習(4)  非線形関数を用いた回帰・非線形分類 非線形関数を用いた回帰 非線形分類  非線形性を扱える学習器が必要
  21. 21. 教師あり学習(5)  教師あり学習問題  学習器と入出力関係  (大量の)訓練データを用いて,訓練データ通りの入出力が 得られるように学習器のパラメータ を調整  訓練データの例(MNIST手書き文字認識問題) “5” “0” “4” “1” 0000010000 1000000000 0000100000 0100000000 ⋯ ⋯ ⋯label
  22. 22. 教師あり学習(6)  教師あり学習問題の目標 訓練データの入力 を入力したときの学習器の出力 が 真値 と同じになるように学習器のパラメータ を調整すること  訓練データセット: , , , , … , ,  番目の入力データ に対する学習器の出力は ;  教師あり学習器の学習問題 minimize , と , の誤差を 1, … , まで集計 解法には最適化アルゴリズムを用いる
  23. 23. © Copyright SENSY Inc. 201722 【閑話休題】進化計算コミュニティの動向 (1)  進化計算  生物の進化の過程を模倣した (最適化) 計算の枠組み  既存個体群から更新候補点を生成 (交叉・突然変異), 既存個体との比較に基づいた淘汰を繰り返しながら探索  遺伝的アルゴリズム,進化戦略,差分進化法,遺伝的プログラミングなど  応答曲面法 (サロゲートモデル)  計算コストが大きい評価関数を機械学習器を用いて近似  近似関数 (応答曲面) 上で進化計算  車体構造設計・電力系統最適化などに応用  Evolutionary Machine Learning  進化計算を機械学習に応用  構造 (上位レベル) 最適化に対する応用が中心  パラメータ (下位レベル) 最適化には勾配法が有用
  24. 24. 進化計算コミュニティの動向(2)  応答曲面法(サロゲートモデル)のイメージ
  25. 25. © Copyright SENSY Inc. 201724 【閑話休題】進化計算コミュニティの動向 (3)  Evolutionary Machine Learningの例
  26. 26. © Copyright SENSY Inc. 201725 《エンジニア向け》DeepLearning ワークショップ 第2弾  対象  機械学習・N. N.に興味のあるITエンジニアで, scikit-learn, chainer, tensorflow等の使用経験がある方 (業務での使用でなくてもOK)  日時・場所  日時:2018年1月13日(土) 13:00-17:00  場所:弊社オフィス (渋谷区神南)  内容  13:00-14:20 (講義)AI技術概論  14:30-15:30 (講義)Neural Networksと実問題への応用  15:30-17:00 (演習)購買履歴模擬データを用いた購買行動予測演習 サポート課題:最急降下法演習 Chainerを使ったMLP実装の演習  17:00- 懇親会 connpassで参加者募集いたします よろしければご参加下さい!! URL: https://sensy.connpass.com/event/74730/
  27. 27. © Copyright SENSY Inc. 201726 人工知能がセンスを学習するアプリ

×