Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ドリーム・アーツ主催勉強会 スマートスピーカー × サーバーレス = WAO !!

728 views

Published on

ドリーム・アーツが主催したスマートスピーカー×サーバレス入門勉強会で使用した資料です。
2018年4月21日東京開催/5月12日広島開催

Published in: Technology
  • Be the first to comment

  • Be the first to like this

ドリーム・アーツ主催勉強会 スマートスピーカー × サーバーレス = WAO !!

  1. 1. スマートスピーカー × サーバーレス = WAO !! この勉強会を進行する人: 中川啓 Microsoft Cognitive Services Bing Speech API Raspberry Pi Microsoft Azure amazon alexa Aws Lambda
  2. 2. 本日のお品書き ①. スマートスピーカー と サーバーレス ②. スマートスピーカーを0ゼロから作る? ③. スマートスピーカー×サーバーレス を みんなで考える = WAO 何ものなのか説明します 実際に作ります さぁ、みんなで考えよう!
  3. 3. 本日のお品書き ①. スマートスピーカー と サーバーレス ②. スマートスピーカーを0ゼロから作る? ③. スマートスピーカー×サーバーレス を みんなで考える = WAO 何ものなのか説明します 実際に作ります さぁ、みんなで考えよう!
  4. 4. スマートスピーカーとは?
  5. 5. 何ができるの? スマートスピーカーとは
  6. 6. スマートスピーカーで出来る事 ※Google談 ①知りたいことを調べる ②タスクをこなす手伝い ③音楽を聴く ④スマートデバイス操作
  7. 7. スマートスピーカーで出来る事 ※Google談 ①知りたいことを調べる ②タスクをこなす手伝い ③音楽を聴く ④スマートデバイス操作 ・レシピを検索 ・ニュースを読み上げる ・お店を調べる ・単語を調べる ・ピカチュウと会話 ・しりとり等のゲーム 等々 関連キーワード: AIアシスタント Alexa Skill / Google Action
  8. 8. スマートスピーカーで出来る事 ※Google談 ①知りたいことを調べる ②タスクをこなす手伝い ③音楽を聴く ④スマートデバイス操作 ・タスクの確認・登録・更新 ・クラウド等との連携 ・タイマー ・アラート 関連キーワード: タスク自動化サービス クラウド・サーバーレス
  9. 9. スマートスピーカーで出来る事 ※Google談 ①知りたいことを調べる ②タスクをこなす手伝い ③音楽を聴く ④スマートデバイス操作 ・大量のサウンドストック ・アーティスト指定で曲再生 ・気分指定でリコメンド再生 ・関連する曲を自動で連続再生 関連キーワード: 音楽ストリーミング サービス
  10. 10. スマートスピーカーで出来る事 ※Google談 ①知りたいことを調べる ②タスクをこなす手伝い ③音楽を聴く ④スマートデバイス操作 ・照明をつける ・鍵を閉める ・カーテンを開ける ・テレビをつける ・エアコンの設定温度を変更 等々 関連キーワード: スマートリモコン Raspberry Pi
  11. 11. スマートスピーカーで出来る事 ※Google談 ①知りたいことを調べる ②タスクをこなす手伝い ③音楽を聴く ④スマートデバイス操作 ・照明をつける ・鍵を閉める ・カーテンを開ける ・テレビをつける ・エアコンの設定温度を変更 等々 関連キーワード: スマートリモコン Raspberry Pi 出来ることは 主に、この4つ
  12. 12. あれ?
  13. 13. あれ? てか、この4つ…
  14. 14. Q. なんかどれも スマホで出来そうなんだけど…
  15. 15. Q. なんかどれも スマホで出来そうなんだけど… A. YES。出来ます。
  16. 16. Q. なんかどれも スマホで出来そうなんだけど… A. YES。出来ます。 ただ、使い勝手が違います。
  17. 17. 料理中におつかいを 頼みたくなった時 積み木に 飽きてきた時 手を洗うの 面倒だな… 音楽が 足りない スマホでLINEしたいが… ↓ 例えば、こういう場面で…
  18. 18. 料理中におつかいを 頼みたくなった時 積み木に 飽きてきた時 面倒だから いいや… 音楽をかける すべが無い スマートスピーカーのない生活
  19. 19. たとえば、こうした 「スマホを手に取れない」時 「スマホを所有していない」人 そういう場面で使える のが スマートスピーカーです。
  20. 20. 料理中におつかいを 頼みたくなった時 積み木に 飽きてきた時 家族にLINE 「牛乳買ってきて」 小さな恋のうた かけてー スマートスピーカーのある生活
  21. 21. つまり 「なにが出来るか」 ではなく 「どうやるか」 を改善した
  22. 22. つまり 「なにが出来るか」 ではなく 「どうやるか」 を改善した 機能
  23. 23. つまり 「なにが出来るか」 ではなく 「どうやるか」 を改善した 機能 UI/UX
  24. 24. つまり 「なにが出来るか」 ではなく 「どうやるか」 を改善した 機能 UI/UX それが スマートスピーカー
  25. 25. スマートスピーカーで 「新しく、何かが出来るようになる」 ワケではなく
  26. 26. スマートスピーカーで 「新しく、何かが出来るようになる」 ワケではなく 「スマートなライフの UI / UX 改善」 それが スマートスピーカー
  27. 27. スマートスピーカーで 「何かが出来るようになる」 ワケではなく 「スマホの UI / UX 補完版」 それが スマートスピーカー で す。 ※個人の感想です
  28. 28. 【いささか無理やりな結論】 スマートスピーカーで出来る事 ※中川談 ①知りたいことを調べる ②タスクをこなす手伝い ③音楽を再生する ④スマートデバイス操作 を、いつでも 誰でも 実行できる
  29. 29. どんな製品があるの? スマートスピーカーとは
  30. 30. ココに書ききれない程 他にも たくさんの種類が 販売されてる いろんなスマートスピーカー けっこう色々ある・・・ Google Home Sony LF-S50G Amazon Echo Plus Dot MaxMini Echo Look Echo Show Echo Spot Amazon Tap Harman Kardon Allure Invoke JBL LINK Series ONKYO G3 / P3 G3 P3 Apple HomePod LINE Clova Series WAVE Friends mini Sonos Series Baidu Raven H Garmin Speak
  31. 31. ココに書ききれない程 他にも たくさんの種類が 販売されてる いろんなスマートスピーカー Google Home MaxMini Echo Look Echo Show Echo Spot Amazon Tap Harman Kardon Allure Invoke JBL LINK Series ONKYO G3 / P3 G3 P3 Apple HomePod LINE Clova Series WAVE Friends mini Sonos Series Baidu Raven H Garmin Speak 46% Amazon Echo 40% 7% 販売台数のシェアは? Plus Dot Sony LF-S50G
  32. 32. ココに書ききれない程 他にも たくさんの種類が 販売されてる いろんなスマートスピーカー 販売台数のシェアは? Google Home Sony LF-S50G MaxMini Echo Look Echo Show Echo Spot Amazon Tap Harman Kardon Allure Invoke JBL LINK Series ONKYO G3 / P3 G3 P3 Apple HomePod LINE Clova Series WAVE Friends mini Sonos Series Baidu Raven H Garmin Speak 46% Amazon Echo 40% Google Home と Amazon Echo で約9割のシェア。 HOW THE SMART SPEAKER IS REVOLUTIONING THE HOME https://www.questionpro.com/how-the-smart-speaker-is-revolutionizing-the-home.html Plus Dot
  33. 33. 売れてるの? (本当に流行ってるの?) スマートスピーカーとは
  34. 34. 売れてるの? アメリカでは、 4,400万台以上 売れています。 Analyst firm: Google Home gains ground on Amazon Echo, now 44M total devices sold https://searchengineland.com/analyst-firm-google-home-gains-ground-amazon-echo-44-million-total-units-sold-290544
  35. 35. 売れてるの? アメリカでは、 4,400万台以上 売れています。 Analyst firm: Google Home gains ground on Amazon Echo, now 44M total devices sold https://searchengineland.com/analyst-firm-google-home-gains-ground-amazon-echo-44-million-total-units-sold-290544 アメリカで、 4,400万台って すごいの?
  36. 36. 売れてるの? アメリカでは、 4,400万台以上 売れています。 ちなみに、ゲームハードの アメリカでの販売台数は、 任天堂:ニンテンドーDS(4700万台) 任天堂:Wii(4540万台) ソニー:PlayStation 2(4112万台) マイクロソフト:Xbox 360(1160万台) ソニー:PlayStation Portable(1156万台) ソニー:PlayStation 3(570万台) via. Wikipedia アメリカで、 4,400万台って すごいの? 最も売れたゲーム機の一覧 - Wikipedia https://ja.wikipedia.org/wiki/最も売れたゲーム機の一覧
  37. 37. 売れてるの? アメリカでは、 4,400万台以上 売れています。 最も売れたゲーム機の一覧 - Wikipedia https://ja.wikipedia.org/wiki/最も売れたゲーム機の一覧 ちなみに、ゲームハードの アメリカでの販売台数は、 任天堂:ニンテンドーDS(4700万台) 任天堂:Wii(4540万台) ソニー:PlayStation 2(4112万台) マイクロソフト:Xbox 360(1160万台) ソニー:PlayStation Portable(1156万台) ソニー:PlayStation 3(570万台) via. Wikipedia アメリカで、 4,400万台って すごいの? バカ売れしたゲームハードの アメリカでの販売台数が 4000万台クラス
  38. 38. 「めちゃくちゃ売れている」 と言って良い販売台数でしょう 価格帯が異なる等 ゲームハードとの単純比較は難しいですが…
  39. 39. ちなみに、 購入理由は 「生活がより快適になるだろうから」 「人工知能が好きだから」 「最新のテクノロジーが好きだから」 「かっこいいガジェットだから」 らしいです。 ※お試し買いがまだまだ多め? ※ちなみに、購入しない理由は「必要ないから」や「会話を聞かれるのが嫌だから」など HOW THE SMART SPEAKER IS REVOLUTIONING THE HOME https://www.questionpro.com/how-the-smart-speaker-is-revolutionizing-the-home.html
  40. 40. 今がピークでは? 今後の可能性についても知りたい スマートスピーカーとは
  41. 41. 現在、ものすごい勢いで市場が成長しており 今後、もっと伸びる と予測されています 【Forrester調査】米国のスマートスピーカー、2022年には世帯普及率50%超へ – ロボスタ https://robotstart.info/2017/11/02/forrester-smart-home-devices-forecast.html ■ スマートスピーカー以外のスマートホームデバイス保有世帯数 ■ スマートスピーカー保有世帯数 ※2017/10/23時点の米Forrester社の予測 (米国のスマートスピーカー保有世帯数)
  42. 42. 現在、ものすごい勢いで市場が成長しており 今後、もっと伸びる と予測されています 【Forrester調査】米国のスマートスピーカー、2022年には世帯普及率50%超へ – ロボスタ https://robotstart.info/2017/11/02/forrester-smart-home-devices-forecast.html ■ スマートスピーカー以外のスマートホームデバイス保有世帯数 ■ スマートスピーカー保有世帯数 ※2017/10/23時点の米Forrester社の予測 (米国のスマートスピーカー保有世帯数) FORRESTERさんが言うんだから たぶん、間違いない。 ※FORRESTERさんを信じる
  43. 43. OK、分かった。 次は もうちょっと踏み込んだ スマートスピーカーの 仕組みの話を聞こうか スマートスピーカーとは
  44. 44. OK、分かった。 次は もうちょっと踏み込んだ スマートスピーカーの 仕組みの話を聞こうか スマートスピーカーとは OK。 では,,, スマートスピーカーの 仕組みの話を しましょう。
  45. 45. スマートスピーカーの仕組み スマート スピーカー インターネット X社クラウド C社サーバー群 F サーバーレス サービス群 F F F F F F F F F S S AI Assistant Y社クラウド F F F S S C イメージとしては こんな感じ
  46. 46. スマート スピーカー スマートスピーカーの仕組み X社製 AIアシスタント I社サーバーレス サービス (タスク自動化) インターネット X社クラウド アプリケーション マーケットプレイス Y社クラウド サーバーレス サービス 独自アプリケーション 独自アプリケーション C社サーバー群 アプリケーション アプリケーション 音声合成 音声認識 自然言語解析 マイク スピーカー 中継ライブラリ 図にすると こんな感じ
  47. 47. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み 分かり易く書くと こんな感じ
  48. 48. スマートスピーカー インターネット スマートスピーカーの仕組み ・オーディオ入力(マイク) ・オーディオ出力(スピーカー) ・トリガー (ウェイクワード) ・音声認識 ・自然言語処理 ・音声合成 AIアシスタント カスタムアプリケーション もっと 分かり易く書くと こんな感じ
  49. 49. スマートスピーカー インターネット スマートスピーカーの仕組み ・オーディオ入力(マイク) ・オーディオ出力(スピーカー) ・トリガー (ウェイクワード) ・音声認識 ・自然言語処理 ・音声合成 AIアシスタント カスタムアプリケーション もっと 分かり易く書くと こんな感じ おや?
  50. 50. スマートスピーカー インターネット スマートスピーカーの仕組み ・オーディオ入力(マイク) ・オーディオ出力(スピーカー) ・トリガー (ウェイクワード) ・音声認識 ・自然言語処理 ・音声合成 AIアシスタント カスタムアプリケーション もっと 分かり易く書くと こんな感じ おや? スマートスピーカー 意外と 何もやってなくね?
  51. 51. スマートスピーカー インターネット スマートスピーカーの仕組み ・オーディオ入力(マイク) ・オーディオ出力(スピーカー) ・トリガー (ウェイクワード) ・音声認識 ・自然言語処理 ・音声合成 AIアシスタント カスタムアプリケーション もっと 分かり易く書くと こんな感じ おや? スマートスピーカー 意外と 何もやってなくね? てか AIアシスタントが ほとんど やってるじゃん
  52. 52. スマートスピーカー インターネット スマートスピーカーの仕組み ・オーディオ入力(マイク) ・オーディオ出力(スピーカー) ・トリガー (ウェイクワード) ・音声認識 ・自然言語処理 ・音声合成 AIアシスタント カスタムアプリケーション もっと 分かり易く書くと こんな感じ おや? スマートスピーカー 意外と 何もやってなくね? てか AIアシスタントが ほとんど やってるじゃん そうなんです。 スマートスピーカーの本体は インターネット側にあるのです。 さらに言うと、この「AIアシスタント」が スマートスピーカーの本体です。
  53. 53. AI アシスタント って、なに? スマートスピーカーとは
  54. 54. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み この図で 説明
  55. 55. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み マイクから トリガーされた 音声データを この図で 説明
  56. 56. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み テキスト化し この図で 説明 天気おしえて
  57. 57. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み データ化して この図で 説明 {‘知りたい’,’天気’} 天気おしえて ※厳密には Intent: 意図 Entity: 情報 のような形
  58. 58. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み アプリケーション に渡して この図で 説明 {‘知りたい’,’天気’} ※厳密には Intent: 意図 Entity: 情報 のような形
  59. 59. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み アプリケーション からの回答を この図で 説明 {‘天気は晴れ’}
  60. 60. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み 音声化し この図で 説明 「天気は晴れ」だそうです
  61. 61. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み 音声データを スマートスピーカーに 返す この図で 説明
  62. 62. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 中継ライブラリ ・ニュース ・ピカチュウ スマートスピーカーの仕組み この一連の処理 が AIアシスタント
  63. 63. スマートスピーカーとは AIアシスタントが 重要なのは 分かった。
  64. 64. AI アシスタント って、 どんなのがあるの? スマートスピーカーとは AIアシスタントが 重要なのは 分かった。
  65. 65. AI アシスタント って、 どんなのがあるの? スマートスピーカーとは よく知られているのは この辺 Microsoft Cortana Google Assistant Apple Siri Amazon alexa
  66. 66. ココに書ききれない程 他にも たくさんの種類が 販売されてる いろんなスマートスピーカー Google Home Sony LF-S50G Amazon Echo Plus Dot MaxMini Echo Look Echo Show Echo Spot Amazon Tap Harman Kardon Allure Invoke JBL LINK Series ONKYO G3 / P3 G3 P3 Apple HomePod LINE Clova Series WAVE Friends mini Sonos Series Baidu Raven H Garmin Speak AIアシスタント別で色分けすると…
  67. 67. ココに書ききれない程 他にも たくさんの種類が 販売されてる いろんなスマートスピーカー AIアシスタント別で色分けすると… Google Home Amazon Echo Plus Dot MaxMini Echo Look Echo Show Echo Spot Amazon Tap Harman Kardon Allure Invoke JBL LINK Series ONKYO G3 / P3 G3 P3 Apple HomePod LINE Clova Series WAVE Friends mini Sonos Series Baidu Raven H Garmin Speak Sony LF-S50G Raven?
  68. 68. ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon Harman Kardon LINE Apple AIアシスタント別に整理すると… CortanaGoogle Assistant Siri Amazon系サービス 「ショッピング」 Google系サービス 「検索(広告)」 Microsoft系 サービス 「Office」 LINE系 サービス 「LINE」 Apple系 サービス 「iTunes」等
  69. 69. ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon Harman Kardon LINE Apple スマートスピーカーを選ぶうえで… CortanaGoogle Assistant Siri Amazon系サービス 「ショッピング」 Google系サービス 「検索(広告)」 Microsoft系 サービス 「Office」 LINE系 サービス 「LINE」 Apple系 サービス 「iTunes」等 ハードウェアの性能以上に重要なのが 「どのAIアシスタントをつかっているか」
  70. 70. ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon Harman Kardon LINE Apple CortanaGoogle Assistant Siri Amazon系サービス 「ショッピング」 Google系サービス 「検索(広告)」 Microsoft系 サービス 「Office」 LINE系 サービス 「LINE」 Apple系 サービス 「iTunes」等 『音声認識能力』に有意差(?)があり AIアシスタントの『裏側に繋がっている各種サービス』も 各社それぞれで特徴がある。 スマートスピーカーを選ぶうえで…
  71. 71. ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon Harman Kardon LINE Apple CortanaGoogle Assistant Siri Amazon系サービス 「ショッピング」 Google系サービス 「検索(広告)」 Microsoft系 サービス 「Office」 LINE系 サービス 「LINE」 Apple系 サービス 「iTunes」等 スマートスピーカーの主戦場は これら『AIアシスタント』と それに繋ぎ込むサービス、及びアプリケーション群 スマートスピーカーを選ぶうえで…
  72. 72. AI アシスタント に繋ぎこむサービス?
  73. 73. AI アシスタント に繋ぎこむサービス? Google Assistant なら、 も使える ! など AIアシスタントによって、接続可能なサービスに差がある
  74. 74. AI アシスタント に繋ぎこむ アプリケーション群?
  75. 75. cookpad 豆しば Google Assistant Google Actions alexa Skills ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon AIアシスタントに繋ぎ込む アプリケーション群とは ハードウェア層 AIアシスタント層 マケプレ層 アプリケーション層 ピカチュウ トーク radiko.jp 承認済 アプリ A野良 アプリ BBB 野良 アプリ Φ ピカチュウ トーク 野良 アプリ ほげ radiko.jp
  76. 76. cookpad 豆しば Google Assistant Google Actions alexa Skills ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon AIアシスタントに繋ぎ込む アプリケーション群とは ハードウェア層 AIアシスタント層 マケプレ層 アプリケーション層 ピカチュウ トーク radiko.jp 承認済 アプリ A野良 アプリ BBB 野良 アプリ Φ ピカチュウ トーク 野良 アプリ ほげ radiko.jp コイツらのこと。
  77. 77. cookpad 豆しば Google Assistant Google Actions alexa Skills ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon AIアシスタントに繋ぎ込む アプリケーション群とは ハードウェア層 AIアシスタント層 マケプレ層 アプリケーション層 ピカチュウ トーク radiko.jp 承認済 アプリ A野良 アプリ BBB 野良 アプリ Φ ピカチュウ トーク 野良 アプリ ほげ radiko.jp 法人・個人問わず、 自由に作成が可能。 ※マケプレ(skills/actions)への表示は、要申請+承認
  78. 78. cookpad 豆しば Google Assistant Google Actions alexa Skills ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon AIアシスタントに繋ぎ込む アプリケーション群とは ハードウェア層 AIアシスタント層 マケプレ層 アプリケーション層 ピカチュウ トーク radiko.jp 承認済 アプリ A野良 アプリ BBB 野良 アプリ Φ ピカチュウ トーク 野良 アプリ ほげ radiko.jp スマートスピーカーの4大要素 ①知りたいことを調べる ②タスクをこなす手伝い ③音楽を再生する ④スマートデバイス操作 を拡張・実現するうえで、必要不可欠な奴ら。
  79. 79. AIアシスタントに繋ぎ込む アプリケーション群とは スマートスピーカー 2大 カスタマイズ要素 ※中川談 ①独自アプリケーションの作成 ②スマートデバイスとの連携 の手っ取り早い方(①の方)。
  80. 80. Google Assistant alexa Skills ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon AIアシスタントに繋ぎ込む アプリケーション群とは ハードウェア層 AIアシスタント層 マケプレ層 アプリケーション層 Google Assitant 向け 野良アプリ 1. AIアシスタントから来た「テキストデータ」を 2. サーバレスなサービス群で処理して 3. 結果をAIアシスタントに返す 色んなトリガーや条件式を組み合わせて 読み取ったり、通知したり、保存したり。 エンジニアがスマートスピーカーを買ったら おそらく、まっさきに独自実装するところ。 等々 通知 保存読込
  81. 81. Google Assistant alexa Skills ONKYO ONKYOJBLSONYGoogle Amazon SONOS Harman Kardon AIアシスタントに繋ぎ込む アプリケーション群とは ハードウェア層 AIアシスタント層 マケプレ層 アプリケーション層 Google Assitant 向け 野良アプリ すなわち サーバレスなサービス群を 自在に操れれば スマートスピーカーを 使いこなすのは、容易い。 等々 通知 保存読込
  82. 82. 理解するには、作るのが一番
  83. 83. 理解するには、作るのが一番 よっ! 写経!! Hello World!!
  84. 84. 但し、本日は カスタムアプリ・スマートデバイス操作系の 作り物は、やりません。
  85. 85. 但し、本日は カスタムアプリ・スマートデバイス操作系の 作り物は、やりません。 え~~~・・! 2大カスタマイズ要素 言うてたや~ん
  86. 86. そういうのを期待されているかもしれないので それ系のオススメ書籍を記載しておきます。 スマートスピーカーの アプリケーション作成の基礎から スマートスピーカーで、ディープラー ニングを活用する方法まで めちゃくちゃ幅広いのに、 非常に分かり易く解説されています。
  87. 87. 今日は スマートスピーカーの基本フロー マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携) この流れをコマンドベースと実物(AIY Voice Kit)で 眺めていきます
  88. 88. work shop
  89. 89. 本日のお品書き ①. スマートスピーカー と サーバーレス ②. スマートスピーカーを0ゼロから作る? ③. スマートスピーカー×サーバーレス を みんなで考える = WAO 何ものなのか説明します 実際に作ります さぁ、みんなで考えよう!
  90. 90. 今日は スマートスピーカーの基本フロー マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携) この流れをコマンドベースと実物(AIY Voice Kit)で 眺めていきます
  91. 91. 今日は スマートスピーカーの基本フロー マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携) この流れをコマンドベースと実物(AIY Voice Kit)で 眺めていきます
  92. 92. AIY Voice Kit ?????
  93. 93. AIY Voice Kit ?????
  94. 94. AIY Voice Kit ????? オリジナル Google Home が 作れる すごい奴!! https://aiyprojects.withgoogle.com/voice/
  95. 95. AIY Voice Kit ????? ボタン
  96. 96. AIY Voice Kit ????? ボタン マイク
  97. 97. AIY Voice Kit ????? ボタン マイク スピーカー
  98. 98. AIY Voice Kit ????? ボタン マイク スピーカー 内部に ラズパイ
  99. 99. らっ、ラズパイ!!
  100. 100. らっ、ラズパイ!!
  101. 101. らっ、ラズパイ!! 手のひらサイズの すごい奴!!
  102. 102. ラズパイ 入ってる
  103. 103. AIY Voice Kit ボタン マイク スピーカー 内部に ラズパイ
  104. 104. AIY Voice Kit これを使います
  105. 105. 今日は スマートスピーカーの基本フロー マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携) この流れをコマンドベースと実物(AIY Voice Kit)で 眺めていきます
  106. 106. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー AIアシスタント アプリケーション インターネット ・検索 ・音楽 トリガー ・ニュース ・ピカチュウ スマートスピーカーの仕組み この流れを 一列にした感じ ですね
  107. 107. 3回に分けて見ていきます マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携) 1 2 3
  108. 108. ハンズオン ① 「OK. Google」以外で、 AIアシスタントを使ってみる ② 音声でチャット(知話輪)に投稿してみる ③ クラウドサービス(知話輪等)から、 AIスピーカーを喋らせる
  109. 109. 1
  110. 110. ハンズオンで作るもの ① 「OK. Google」以外で、 AIアシスタントを使ってみる ② 音声でチャット(知話輪)に投稿してみる ③ クラウドサービス(知話輪等)から、 AIスピーカーを喋らせる
  111. 111. ①では、↓主にココを見ます マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携)
  112. 112. ■ 使うサービス snowboy HOTWORD DETECTION https://snowboy.kitt.ai 「OK, Google」以外の トリガー (ウェイクワード) を 使用するため利用
  113. 113. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー GoogleアシスタントGoogle Action 等 Google Cloud ① Snowboy ライブラリ Google Assistant SDK ① スクリプト wakeword ・検索 ・音楽 ・ニュース ・ピカチュウ
  114. 114. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー GoogleアシスタントGoogle Action 等 Google Cloud ① Snowboy ライブラリ Google Assistant SDK ① スクリプト wakeword ・検索 ・音楽 ・ニュース ・ピカチュウ ココです。 「トリガー」部分 ココをカスタマイズします
  115. 115. マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語解析 ( NLU) スマートスピーカー GoogleアシスタントGoogle Action 等 Google Cloud ① Snowboy ライブラリ Google Assistant SDK ① スクリプト wakeword ・検索 ・音楽 ・ニュース ・ピカチュウ デモ
  116. 116. ■やりかた ▼snowboy(のサイト上)で、ウェイクワードを2つ作成 https://snowboy.kitt.ai/dashboard ※Loginから「Login with Google」を選択し、以下ID/PWでログイン ID: ****** (ハンズオン用に用意したアカウント) PW: ****** ▼snowbodyから、作成したウェイクワードファイルをひとつダウンロード ▼ラズパイにウェイクワードファイル(例:popy.pmdl)をコピーする # cp popy.pmdl /DA-ASSITANT/wake-word/voice1.pmdl ▼AIアシスタント連携スクリプト(独自)を実行する # cd /DA-ASSITANT/ # python Popy.py
  117. 117. ①では、↓主にココを見ました マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携) ■やったこと ・ウェイクワード(トリガー)の変更 ■分かること ・通常のウェイクワード(トリガー)である「OK、Google」を変更できる ・ウェイクワード(トリガー)以外は、通常のAIアシスタントのまま
  118. 118. 2
  119. 119. ハンズオンで作るもの ① 「OK. Google」以外で、 AIアシスタントを使ってみる ② 音声でチャット(知話輪)に投稿してみる ③ クラウドサービス(知話輪等)から、 AIスピーカーを喋らせる
  120. 120. ②では、↓主にココを見ます マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携)
  121. 121. ■ 使うサービス Azure Cognitive Services - Bing Speech API https://azure.microsoft.com/ja-jp/services/cognitive-services/speech/ 音声ファイルを テキストデータに 変換するため利用
  122. 122. https://www.chiwawa.one/ https://developers.chiwawa.one/api/ ■ 使うサービス チャットツールは、 弊社ビジネスチャットツール 「知話輪」を利用します
  123. 123. マイク スピーカー 知話輪サーバー 投稿API Azure 音声⇒テキスト 知話輪アプリインターネット ② Snowboy ライブラリ ② スクリプト wakeword !!
  124. 124. マイク スピーカー 知話輪サーバー 投稿API Azure 音声⇒テキスト 知話輪アプリインターネット ② Snowboy ライブラリ ② スクリプト wakeword !! 音声認識 を 外部サービスを使って 実現
  125. 125. マイク スピーカー 知話輪サーバー 投稿API Azure 音声⇒テキスト 知話輪アプリインターネット ② Snowboy ライブラリ ② スクリプト wakeword !! チャットAPIを フックして テキスト化した音声を チャットへ投稿
  126. 126. マイク スピーカー 知話輪サーバー 投稿API Azure 音声⇒テキスト 知話輪アプリインターネット ② Snowboy ライブラリ ② スクリプト wakeword !!デモ
  127. 127. ■やりかた ▼snowbodyから、もうひとつのウェイクワードファイルをダウンロード https://snowboy.kitt.ai/dashboard ▼知話輪側の設定 (カスタマイズ > Bot管理 > 新しく作成 ※APIトークンをメモ) https://admin.chiwawa.one/admin/login 企業ID: ****** (ハンズオン用に用意したアカウント) E-MAIL: ****** PW: ****** ▼ラズパイにウェイクワードファイル(例:cello.pmdl)をコピーする # cp cello.pmdl /DA-ASSITANT/wake-word/voice2.pmdl ▼知話輪投稿スクリプト(独自)を実行する # cd /DA-ASSITANT/ # python Cello.py ▼知話輪アプリにログインし、投稿されるか確認 企業ID: ****** (ハンズオン用に用意したアカウント) ID: ****** PW: ******
  128. 128. ②では、↓主にココを見ました マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携) ■やったこと ・ウェイクワード(トリガー)の変更 ・AIアシスタントを使わずに、音声解析し、チャットへ通知 ■分かること ・音声解析できてしまえば、あとはアプリが思うままにできる
  129. 129. 3
  130. 130. ハンズオンで作るもの ① 「OK. Google」以外で、 AIアシスタントを使ってみる ② 音声でチャット(知話輪)に投稿してみる ③ クラウドサービス(知話輪等)から、 AIスピーカーを喋らせる
  131. 131. ③では、主に↓ココを見ます マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携)
  132. 132. ■ 使うサービス Node-RED https://nodered.org/ https://kn-handson.mybluemix.net/red/ チャットサービスと スマートスピーカーの 中継アプリとして 利用 IBM Cloud (Bluemix) 上の Node-RED サービスを利用します
  133. 133. ■ 使うサービス gTTS (Google Text-to-speech) https://cloud.google.com/text-to-speech/ https://github.com/pndurette/gTTS ※Pythonライブラリ テキストを 音声ファイル(mp3)に 変換するため利用
  134. 134. マイク スピーカー 知話輪サーバー 投稿API IBM Cloud Node-RED 知話輪アプリインターネット ③ ③ スクリプト !!! Google gTTSサービス
  135. 135. マイク スピーカー 知話輪サーバー 投稿API IBM Cloud Node-RED 知話輪アプリインターネット ③ ③ スクリプト !!! Google gTTSサービス 外部サービスへ WebSocket接続を 張り続け 通知を待ち受けます
  136. 136. マイク スピーカー 知話輪サーバー 投稿API IBM Cloud Node-RED 知話輪アプリインターネット ③ ③ スクリプト !!! Google gTTSサービス 届いた通知テキストを 外部サービスで 音声データに変換
  137. 137. マイク スピーカー 知話輪サーバー 投稿API IBM Cloud Node-RED 知話輪アプリインターネット ③ ③ スクリプト !!! Google gTTSサービス デモ
  138. 138. ■やりかた ▼Node-RED (IBM Cloud) の設定 https://kn-handson.mybluemix.net/red/ ID: ****** (ハンズオン用に用意したアカウント) PW: ****** ※知話輪サーバーからのWebhook待ち受け ※ラズパイとNode-REDをWebSocketで接続 (ラズパイへのトンネル) ※上記を実現するサービスを組み立てる ▼知話輪側の設定 (カスタマイズ > Bot管理 > Edit ※Webhook URLを変更) https://admin.chiwawa.one/admin/login ※上記で設定したNode-REDへのWebhook設定 ▼AIアシスタント連携スクリプト(独自)の編集 # cd /DA-ASSITANT/ # vi wsconnect.py ※上記で設定したNode-REDへのWebSocket接続URLを変更 ▼AIアシスタント連携スクリプト(独自)を実行する # python wsconnect.py ▼知話輪アプリにログインし、投稿内容がスピーカーで読み上げられるか確認 ※ログインアカウントは 、② の時と同じ
  139. 139. ■やったこと ・チャットシステムからの通知をきっかけに テキストを音声変換し、スピーカーへ音声Push(喋らせる) ■分かること ・外部サービスきっかけで、スピーカーを喋らせることができる ※諸般の事情で、一般的なスマートスピーカーへのpush通知は制限が多い ③では、主に↓ココを見ました マイク スピーカー 音声合成 ( TTS ) 音声認識 ( ASR) 自然言語 解析 ( NLU) トリガー アプリ (外部連携)
  140. 140. WAO
  141. 141. 本日のお品書き ①. スマートスピーカー と サーバーレス ②. スマートスピーカーを0ゼロから作る? ③. スマートスピーカー×サーバーレス を みんなで考える = WAO 何ものなのか説明します 実際に作ります さぁ、みんなで考えよう!
  142. 142. スマートスピーカーでUX改善 個人的なアイデア ・「ながら作業」に向いてるので ・料理をしながらLINE ・寝起きに勤怠連絡 ・お風呂で1人カラオケ ・誰でも使えるので ・子供DJ ・みんなでDJ
  143. 143. VUIの時代到来だ! AIアシスタントの時代だ! CRMより、VRMの時代だ! 色々言われてますが 改めて、スマートスピーカーの 今後の可能性について
  144. 144. 小難しいことは、さておいて スマートホームな時代は 確実に来る しかも、遠からず。 ・・・と、思いませんか スマートホームな未来に備えて スマートスピーカーきっかけで スマートライフを先取りしましょう☆
  145. 145. 以上 ありがとうございました。

×