Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Pepper meets
Machine Learning
Tech-Circle#7
2015/07/23 @Atelier-Akihabara
Koji Shiraishi @shiraco
TIS株式会社 戦略技術センター
白石康司
@shiraco
機械学習/自然言語処理/
対話技術/Pepper
Python/R/Ruby
自己紹介
TIS/戦略技術センター
IoT
Cloud
自然言語処理/対話技術/環境認識/ロボット
CPS/センサーデバイス/ドローン
クラウドオーケストレーション/SDN
AI
facebook(Tech-‐‑‒Sketch)
http://techc...
本日の内容
• Pepperのプロフィール
• なぜPepperだったのか
• Pepperをどうするか
• Pepperアプリの開発方法
• ハンズオン
今日のゴール
• PepperからWeb APIを活用できるようになる
• その結果、Pepperをクラウドにつないで、賢い対話アプリを
作れるようになる
本編の前に
Softbank Robotics Corp. 2014 All rights reserved. 3
テーブル毎に
⾃自⼰己紹介
してみませんか?
※1⼈人30秒  
  ・お名前  
  ・所属  
  ・本⽇日の勉強会に参加しようと思った...
About Pepper
人間と対話して提案できるロボット
Pepper
ホテルのお客様への最適な旅行
プランを探してくれるPepperコ
ンシェルジュ
youtube
https://youtu.be/LmbT4W9odtQ
https://youtu.be/85uj...
Pepper概要(ハードウェア)
http://www.softbank.jp/robot/products/spec/
Why Pepper?
AIへの取り組み
特定ドメインで⼈人をサポートし、パートナーとして働くシステムを考察
質問応答によるサポート
薬剤師の代理理もしくは補助
として症状を聞き出しなが
ら薬の選択をサポートする
薬コンシェル
状況認識識による⽰示唆
会議診断⼠士「さ...
対話の価値
• ユーザーが検索できないことを対話で導ける
• 体全体を使ってジェスチャーでユーザへ伝えられる
• 様々なセンサーを利用してテキスト以上の情報を取得できる
対話の必要性
・ユーザーの、⾔言葉葉にはしにくい気分や感情といった雰囲気を汲み取れる  
・対話を深めることにより、ユーザーの真に求めている欲求を把握できる
対話によって⽣生まれる価値
京都でわくわくできる場所
を探したいのに
居酒屋探してるわ...
対話インターフェイスとしてのPepper
• 人型なので心理的に話しかけやすい
• 自律的に移動することができる
• 今後、広く普及する可能性が高い
http://ascii.jp/elem/000/001/020/1020941/
How to dialog doing?
Pepperを使った対話の事例
対話により相⼿手の嗜好を推定し、そ
れに合った観光ルートを提案する  
単純な⾳音声対話だけでなく、画像な
ど複合的な要素で判断を⾏行行う。
対話による観光ルートの推薦
人物の認識
• Pepperのカメラにより話者の属性(年齢・性別)を捉え
る
• 対話による表情の変化などを把握
• 過去にあったことがある人物か判定
対話
• 話者に問いかけるべき内容を判断する
• 話者に自然言語で問いかける
• 話者が話しかけた内容を理解する
Pepperを機械学習で賢くする
機械学習とは
⼈人間と同様、経験(データ)によって学習して賢くなるアルゴリズム
22
学習⽤用データ
機械学習アルゴリズム
特徴抽出
モデル化
未知データ
特徴抽出 推定
モデル
×
○
○
×
○
○
? ? ◯
モデル参照学習⽤用データ
未...
ʻ‘ʼ’機械学習ʼ’ʼ’  で何ができるのか?
スパム検知
商品  
レコメンデーション
医療療診断
クレジットカード  
不不正検知
数字認識識
⾳音声認識識
形状検出
顔検出
私達の⾝身近な機械学習
主な機械学習タスク(クラス分類、クラスタリング)
● ⼊入⼒力力データの中から何らかの共通の特徴をもつデータをまとめる  
● 例例:顧客をクラスタリングし特徴的な共通点を⾒見見つけ適したマーケティングを実施、など
クラス分類
クラスタリング
...
Google Speech API
• 音声をテキストに変換するAPI(Speech To Text)
• 回数制限 : 50回/1日
https://console.developers.google.com/
ReKognition API
• 顔画像から属性を取得
• 年齢
• 性別
• 人種 etc.
• 回数制限 : 1,000call / 一ヶ月
https://rekognition.com
音声認識API (Google Speech API)
画像認識API (ReKognition API)
Ʃ
ƫ
Pepper with Cloud
APIs
Pepper Development
Choreographeの基本
(復習)
Softbank Robotics Corp. 2014 All rights reserved. 8
Pepperを操るSDK
“Choregraphe”
Softbank Robotics Corp. 2014 All rights reserved.
Choregrapheとは
9
Boxを
ドラッグ&ドロップ
Boxをつなげる ペッパーが動く
ペッパーだよ
●ドラッグ&ドロップのみで簡単なロ...
Softbank Robotics Corp. 2014 All rights reserved.
ビュー
●初期設定で表⽰示されるビューは下記5つ
10
ボックス  
ライブラリ
フロー  
ダイアグラム  
パネル
ポーズ  
ライブラリプ...
Softbank Robotics Corp. 2014 All rights reserved.
ビューの修正
●本⽇日使⽤用する”ロボットビュー”を表⽰示する
11
メニュー  >  表⽰示  
“ロボットビュー”  を選択する
1
“ロボ...
Pythonボックスカスタマイズ
Pythonボックス
• 入力に対応したメソッドを
定義
• onInput_onStart(self, p)
• 入力変数の型を える
• 呼び出されたメソッド内で
出力シグナルを定義
• self.onStopped(p)
• 出力変数の型...
ボックスとボックスライブラリの考え方
ボックスとボックスライブラリ
• ボックス
• Pepperアプリの処理の最小単位
• ボックスライブラリ
• ボックスをまとめて再配布でき
る単位にしたライブラリ
よしもとロボット研究所モーション効率化ライブラリ
http://pepper-...
Tech−Circleボックス
techcircle_box
ハンズオンでつかうボックス
をまとめたライブラリ
• google speech to
text box
• rekognition box
https://github.com/shiraco/techcircl...
Hands-on
Hands-on
http://bit.ly/tc0723
ハンズオンへのリンク
∼はじめに∼ Pepperに接続してみる
∼基本編A 対話基礎∼ Dialogを使ってPepperと対話してみる
∼基本編B 音声認識∼ Google Speec...
Softbank Robotics Corp. 2014 All rights reserved.
ロボットに接続しよう
12
接続ボタンをクリックする
1
接続したいPepperを選択し、  
“選択”をクリックする
2
(選択したいロボット...
Softbank Robotics Corp. 2014 All rights reserved.
ロボット名とIPアドレスを確認する
13
胸のボタンを⼀一度度押すと、Pepperが話します
こんにちは、僕は”Pepper 51”です。  
...
Hands-on A 対話の基本を抑える
∼基本編A 対話基礎∼
Dialogを使ってPepperと対話してみる(所要時間目安: 15分)
① (復習) Speech Reco. + SayでPepperと対話してみる
② Dialogを使ってPepperからの質問に答えてみよう
ht...
① (復習) Speech Reco. + SayでPepperと対話してみる
② Dialogを使ってPepperからの質問に答えてみよう
Let's Hands-on
(参考)Pepperは人間が喋った任意の言葉を認識できるか?
(参考)音声認識 - Pepperは人間が喋った任意の言葉を認識できるか? - Qiita
http://qiita.com/songchongok/items/c4acde4320...
Pepperを賢くできる
[Pepper 基本プラン | 料金 | ロボット | ソフトバンク]
(http://www.softbank.jp/robot/price/basic/)
Q: [Pepper]クラウド音声認識エンジンは、利用でき...
Hands-on B 耳を研ぎ澄ませる
∼基本編B 音声認識∼
Google Speech APIを使ってPepperにあなたの名前を知ってもらう(所要時間目安: 15分)
① Google Speech APIをターミナルから実行してみる
② Google Speech APIを使...
② Google Speech APIを使ってPepperにあなたの名前を確実に覚えてもらう
Let's Hands-on
Record Sound for Google STT ボックス
HTTP Google STT ボックス
Get Name ボックス
Hands-on C 心の目をひらく
∼基本編C 画像認識∼
ReKognition APIを使ってPepperにあなたの見た目の印象を聞いてみる(所要時間目安: 20分)
① ReKognition APIをブラウザから体験してみる
② ReKognition APIをターミナル...
③ Pepperにあなたの性別と年齢を聞いてみる
Let's Hands-on
Take Face Picture ボックス
HTTP ReKognition ボックス
Get Face Info ボックス
Hands-on
Developer Program スタート
https://www.aldebaran.com/ja/developerprogram
Pepper アプリストア
“Enjoy Pepper!”
参考資料
• ソフトバンク http://www.softbank.jp/robot/products/
• Aldebaran Robotics https://www.aldebaran.com
• ワークショップの資料を公開しました | ...
Upcoming SlideShare
Loading in …5
×

Tech-Circle Pepperで機械学習体験ハンズオン勉強会inアトリエ秋葉原

7,050 views

Published on

Tech-Circle Pepperハンズオン勉強会での発表資料です。

http://techcircle.connpass.com/event/16275/

Published in: Technology

Tech-Circle Pepperで機械学習体験ハンズオン勉強会inアトリエ秋葉原

  1. 1. Pepper meets Machine Learning Tech-Circle#7 2015/07/23 @Atelier-Akihabara Koji Shiraishi @shiraco
  2. 2. TIS株式会社 戦略技術センター 白石康司 @shiraco 機械学習/自然言語処理/ 対話技術/Pepper Python/R/Ruby 自己紹介
  3. 3. TIS/戦略技術センター IoT Cloud 自然言語処理/対話技術/環境認識/ロボット CPS/センサーデバイス/ドローン クラウドオーケストレーション/SDN AI facebook(Tech-‐‑‒Sketch) http://techcircle.connpass.com/ https://www.facebook.com/techsketch 技術勉強会(Tech-‐‑‒Circle) SIerの研究開発部門
  4. 4. 本日の内容 • Pepperのプロフィール • なぜPepperだったのか • Pepperをどうするか • Pepperアプリの開発方法 • ハンズオン
  5. 5. 今日のゴール • PepperからWeb APIを活用できるようになる • その結果、Pepperをクラウドにつないで、賢い対話アプリを 作れるようになる
  6. 6. 本編の前に
  7. 7. Softbank Robotics Corp. 2014 All rights reserved. 3 テーブル毎に ⾃自⼰己紹介 してみませんか? ※1⼈人30秒     ・お名前     ・所属     ・本⽇日の勉強会に参加しようと思った理理由
  8. 8. About Pepper
  9. 9. 人間と対話して提案できるロボット Pepper ホテルのお客様への最適な旅行 プランを探してくれるPepperコ ンシェルジュ youtube https://youtu.be/LmbT4W9odtQ https://youtu.be/85ujkBJtKQk
  10. 10. Pepper概要(ハードウェア) http://www.softbank.jp/robot/products/spec/
  11. 11. Why Pepper?
  12. 12. AIへの取り組み 特定ドメインで⼈人をサポートし、パートナーとして働くシステムを考察 質問応答によるサポート 薬剤師の代理理もしくは補助 として症状を聞き出しなが ら薬の選択をサポートする 薬コンシェル 状況認識識による⽰示唆 会議診断⼠士「さゆり」 嗜好理理解による推薦 観光コンシェルジュ 会議中の参加者の表情認識識 から会議の状態の良良し悪し を判定しアドバイスを⾏行行う 対話によりユーザの嗜好を 引き出しそれぞれにあった 観光コースを⾃自動⽣生成し、 推薦を⾏行行う
  13. 13. 対話の価値 • ユーザーが検索できないことを対話で導ける • 体全体を使ってジェスチャーでユーザへ伝えられる • 様々なセンサーを利用してテキスト以上の情報を取得できる
  14. 14. 対話の必要性 ・ユーザーの、⾔言葉葉にはしにくい気分や感情といった雰囲気を汲み取れる   ・対話を深めることにより、ユーザーの真に求めている欲求を把握できる 対話によって⽣生まれる価値 京都でわくわくできる場所 を探したいのに 居酒屋探してるわけじゃない のになー 従来の検索索の問題点
  15. 15. 対話インターフェイスとしてのPepper • 人型なので心理的に話しかけやすい • 自律的に移動することができる • 今後、広く普及する可能性が高い
  16. 16. http://ascii.jp/elem/000/001/020/1020941/
  17. 17. How to dialog doing?
  18. 18. Pepperを使った対話の事例 対話により相⼿手の嗜好を推定し、そ れに合った観光ルートを提案する   単純な⾳音声対話だけでなく、画像な ど複合的な要素で判断を⾏行行う。 対話による観光ルートの推薦
  19. 19. 人物の認識 • Pepperのカメラにより話者の属性(年齢・性別)を捉え る • 対話による表情の変化などを把握 • 過去にあったことがある人物か判定
  20. 20. 対話 • 話者に問いかけるべき内容を判断する • 話者に自然言語で問いかける • 話者が話しかけた内容を理解する
  21. 21. Pepperを機械学習で賢くする
  22. 22. 機械学習とは ⼈人間と同様、経験(データ)によって学習して賢くなるアルゴリズム 22 学習⽤用データ 機械学習アルゴリズム 特徴抽出 モデル化 未知データ 特徴抽出 推定 モデル × ○ ○ × ○ ○ ? ? ◯ モデル参照学習⽤用データ 未知データ 学習フェーズ 推定フェーズ さらに継続的学習でアルゴリズムが成⻑⾧長する 教師あり学習の場合
  23. 23. ʻ‘ʼ’機械学習ʼ’ʼ’  で何ができるのか? スパム検知 商品   レコメンデーション 医療療診断 クレジットカード   不不正検知 数字認識識 ⾳音声認識識 形状検出 顔検出 私達の⾝身近な機械学習
  24. 24. 主な機械学習タスク(クラス分類、クラスタリング) ● ⼊入⼒力力データの中から何らかの共通の特徴をもつデータをまとめる   ● 例例:顧客をクラスタリングし特徴的な共通点を⾒見見つけ適したマーケティングを実施、など クラス分類 クラスタリング ● ⼊入⼒力力データをあらかじめ定められたクラスに分類する   ● 例例:⾳音声認識識、⽂文字認識識、疾病判定、スパムメール判定、など 学習⽤用⼊入⼒力力データ モデル 推定結果 学習フェーズ 推定フェーズ 未知の⼊入⼒力力データ ? ⼊入⼒力力データ 推定結果 学習・推定フェーズ
  25. 25. Google Speech API • 音声をテキストに変換するAPI(Speech To Text) • 回数制限 : 50回/1日 https://console.developers.google.com/
  26. 26. ReKognition API • 顔画像から属性を取得 • 年齢 • 性別 • 人種 etc. • 回数制限 : 1,000call / 一ヶ月 https://rekognition.com
  27. 27. 音声認識API (Google Speech API) 画像認識API (ReKognition API) Ʃ ƫ Pepper with Cloud APIs
  28. 28. Pepper Development
  29. 29. Choreographeの基本 (復習)
  30. 30. Softbank Robotics Corp. 2014 All rights reserved. 8 Pepperを操るSDK “Choregraphe”
  31. 31. Softbank Robotics Corp. 2014 All rights reserved. Choregrapheとは 9 Boxを ドラッグ&ドロップ Boxをつなげる ペッパーが動く ペッパーだよ ●ドラッグ&ドロップのみで簡単なロボアプリ開発が可能なSDK
  32. 32. Softbank Robotics Corp. 2014 All rights reserved. ビュー ●初期設定で表⽰示されるビューは下記5つ 10 ボックス   ライブラリ フロー   ダイアグラム   パネル ポーズ   ライブラリプロジェクト   の内容 初期ビュー ロボット   アプリ   ケーション
  33. 33. Softbank Robotics Corp. 2014 All rights reserved. ビューの修正 ●本⽇日使⽤用する”ロボットビュー”を表⽰示する 11 メニュー  >  表⽰示   “ロボットビュー”  を選択する 1 “ロボットビュー”をクリックする 2
  34. 34. Pythonボックスカスタマイズ
  35. 35. Pythonボックス • 入力に対応したメソッドを 定義 • onInput_onStart(self, p) • 入力変数の型を える • 呼び出されたメソッド内で 出力シグナルを定義 • self.onStopped(p) • 出力変数の型を える
  36. 36. ボックスとボックスライブラリの考え方
  37. 37. ボックスとボックスライブラリ • ボックス • Pepperアプリの処理の最小単位 • ボックスライブラリ • ボックスをまとめて再配布でき る単位にしたライブラリ よしもとロボット研究所モーション効率化ライブラリ http://pepper-atelier-akihabara.jp/archives/259
  38. 38. Tech−Circleボックス
  39. 39. techcircle_box ハンズオンでつかうボックス をまとめたライブラリ • google speech to text box • rekognition box https://github.com/shiraco/techcircle_box
  40. 40. Hands-on
  41. 41. Hands-on http://bit.ly/tc0723 ハンズオンへのリンク ∼はじめに∼ Pepperに接続してみる ∼基本編A 対話基礎∼ Dialogを使ってPepperと対話してみる ∼基本編B 音声認識∼ Google Speech APIを使ってPepperにあなたの名前を知ってもらう ∼基本編C 画像認識∼ ReKognition APIを使ってPepperにあなたの見た目の印象を聞いてみる
  42. 42. Softbank Robotics Corp. 2014 All rights reserved. ロボットに接続しよう 12 接続ボタンをクリックする 1 接続したいPepperを選択し、   “選択”をクリックする 2 (選択したいロボットがない場合は、)   IPアドレスを⼊入⼒力力し、”選択”をクリック 3
  43. 43. Softbank Robotics Corp. 2014 All rights reserved. ロボット名とIPアドレスを確認する 13 胸のボタンを⼀一度度押すと、Pepperが話します こんにちは、僕は”Pepper 51”です。   僕のIPアドレスは、”10.1.122.165”です。 ロボット名 IPアドレス
  44. 44. Hands-on A 対話の基本を抑える
  45. 45. ∼基本編A 対話基礎∼ Dialogを使ってPepperと対話してみる(所要時間目安: 15分) ① (復習) Speech Reco. + SayでPepperと対話してみる ② Dialogを使ってPepperからの質問に答えてみよう http://qiita.com/shiraco/private/182a95873cd6f5274d9b ここで学ぶこと! ・Pepperの機能としての対話の仕組みの理解
  46. 46. ① (復習) Speech Reco. + SayでPepperと対話してみる
  47. 47. ② Dialogを使ってPepperからの質問に答えてみよう
  48. 48. Let's Hands-on
  49. 49. (参考)Pepperは人間が喋った任意の言葉を認識できるか? (参考)音声認識 - Pepperは人間が喋った任意の言葉を認識できるか? - Qiita http://qiita.com/songchongok/items/c4acde4320ef39128c87
  50. 50. Pepperを賢くできる [Pepper 基本プラン | 料金 | ロボット | ソフトバンク] (http://www.softbank.jp/robot/price/basic/) Q: [Pepper]クラウド音声認識エンジンは、利用できる上限回数を超えるとどうなりますか? A: 一日の上限回数に達すると、高精度な認識機能に利用制限がかかります。 http://faq.mb.softbank.jp/detail.aspx? cid=82718&id=e42493153726c6c43526c7a375365616936686c7553624650396c394a46355a6f70516e324e79576f36 78493d デメリット • お金がかかる(14,800円×36ヵ月/1台) • Pepper以外で使えない • 上限回数がある(Googleなどの音声認識APIでも上限はある)
  51. 51. Hands-on B 耳を研ぎ澄ませる
  52. 52. ∼基本編B 音声認識∼ Google Speech APIを使ってPepperにあなたの名前を知ってもらう(所要時間目安: 15分) ① Google Speech APIをターミナルから実行してみる ② Google Speech APIを使ってPepperにあなたの名前を確実に覚えてもらう ③ (おまけ) よしもとロボット研究所モーションボックスライブラリでPepperに動きを付 けてみよう http://qiita.com/shiraco/private/460b9a6ce7c9426d6be3 ここで学ぶこと! ・PepperからWeb APIの呼び出し方の基本 ・クラウドでの音声認識方法
  53. 53. ② Google Speech APIを使ってPepperにあなたの名前を確実に覚えてもらう
  54. 54. Let's Hands-on
  55. 55. Record Sound for Google STT ボックス
  56. 56. HTTP Google STT ボックス
  57. 57. Get Name ボックス
  58. 58. Hands-on C 心の目をひらく
  59. 59. ∼基本編C 画像認識∼ ReKognition APIを使ってPepperにあなたの見た目の印象を聞いてみる(所要時間目安: 20分) ① ReKognition APIをブラウザから体験してみる ② ReKognition APIをターミナルから実行してみる ③ Pepperにあなたの性別と年齢を聞いてみる http://qiita.com/shiraco/private/9836048e30612bb96582 ここで学ぶこと! ・クラウドでの画像認識の方法
  60. 60. ③ Pepperにあなたの性別と年齢を聞いてみる
  61. 61. Let's Hands-on
  62. 62. Take Face Picture ボックス
  63. 63. HTTP ReKognition ボックス
  64. 64. Get Face Info ボックス
  65. 65. Hands-on
  66. 66. Developer Program スタート https://www.aldebaran.com/ja/developerprogram
  67. 67. Pepper アプリストア
  68. 68. “Enjoy Pepper!”
  69. 69. 参考資料 • ソフトバンク http://www.softbank.jp/robot/products/ • Aldebaran Robotics https://www.aldebaran.com • ワークショップの資料を公開しました | Pepper アトリエ秋葉原 with SoftBank http://pepper-atelier-akihabara.jp/archives/439 • モーション作成を効率化するボックスライブラリを公開 | Pepper アトリエ秋葉 原 with SoftBank http://pepper-atelier-akihabara.jp/archives/259 • Qiita:Atelier-Akihabara http://qiita.com/Atelier-Akihabara • 音声認識 - Pepperは人間が喋った任意の言葉を認識できるか? - Qiita http:// qiita.com/songchongok/items/c4acde4320ef39128c87

×