講演者：佐々木 シモン（IBM） こんな人におすすめ ・AIを活用した開発に関心のあるUnityエンジニアやデベロッパー ・アセットIBM Watson Unity SDKの使い方を知りたい方 ・なるべくコストをかけずAIを使ってみたい学生 受講者が得られる知見 ・アセットIBM Watson Unity SDKの使い方 ・Unityで音声認識や画像認識をアプリに実装する方法 ・Unityで会話からユーザーの意図(喜怒哀楽など)を理解させる方法

1. XR x AI Watsonで もっと拡がるUnity開発
Augment your Unity apps with XR x AI Watson
2018/5/7-9
佐々木 シモン Simon Sasaki
IBM / Developer Advocate

2. 佐々木 シモン Simon Sasaki
元フロントエンドエンジニアでXR大好き人間。現在の専門
はマネージドAI技術(IBM Watson Developer Cloud)を
中心にハイエンドVR／AR／MRに関心が高い。
IBM社内では量子コンピューター技術コミュニティーに属し
ており、社外ではAIコミュニティー「水曜ワトソンカフェ」の
モデレーターを務める。
IBM / Developer Advocate
@simonTokyo simontokyo simon3@jp.ibm.com

3. Agenda
•XR x AI
•Asset Watson Unity SDK
Asset VR Watson Speech Sandbox
•Watson API on IBM Cloud
•Unity SDKで使えるWatson API 紹介
•（参考）ハマりどころ
•Online YouTube resources for Watson Unity SDK

4. XR x AI
Unity x IBM Watson

5. XR開発におけるUnityシェア
https://youtu.be/cmRSkHl-Gv0

6. Star Trek: Bridge Crew
https://youtu.be/KSqhXI4ilxM

7. HTC Vive Oculus Rift PlayStation VR

8. アセットWatson Unity SDK
アセットVR Watson Speech Sandbox

9. https://assetstore.unity.com/ibm

11. 「WatsonをUnityで使ってみた」反響はBlogやYouTubeに

12. https://youtu.be/NoO2R3Pz5Go

14. https://youtu.be/2tOoN_uMVt0?t=4m7s
Unite Tokyo 2018 バーチャルYouTuber電脳少女シ
ロがご紹介する「2018年の注目アセット100連発」
“100 Must-see Assets for 2018” by Virtual YouTuber, Cyber Girl Siro
https://youtu.be/2tOoN_uMVt0?t=14m20s
https://youtu.be/KYnCTlmVqMU?t=3m57s
https://youtu.be/KYnCTlmVqMU?t=13m38s

15. Watson API on IBM Cloud

17. https://youtu.be/Wq0XnBYC3nQ

19. Watson Developer Cloud - 参考価格と月間無料枠
C O N V E R S A T I O N
N A T U R A L L A N G U A G E
U N D E R S T A N D I N G
T E X T T O S P E E C H
10,000 API 無料 ￥0.26
30,000 items 無料 ￥0.3
7,500 API 無料 ￥0.2
1,000 API 無料 ￥1〜2
100分間 ￥2/分1万文字無料 ￥2/千文字

20. IBM Cloud
アカウント作成
Watson API
キー取得
Watson Unity SDK Unityアプリ開発
Watson API Explorer
Watson Unity SDKで開発するまでの大まかな流れ
Watsonの
カスタマイズ

21. IBM Cloudアカウントの作成手順

22. https://ibm.biz/BdZVKq

23. *******

24. https://ibm.biz/BdZVK

25. Log in > Catalog - https://bluemix.net

26. “ ”
クレジットカードさえ持たずに
気軽にAI開発を始める
No Credit Card required

27. IBM Cloud
アカウント作成
Watson API
キー取得
Watson Unity SDK Unityアプリ開発
Watson API Explorer
Watson Unity SDKで開発するまでの大まかな流れ
Watsonの
カスタマイズ

28. Unity SDKで使える
Watson API 紹介

30. Demo

31. Watson Unity SDK - Asset > Watson > Scripts > Services

32. Watson Developer Cloud – AI : Augmented Intelligence
C O N V E R S A T I O N D I S C O V E R Y
L A N G U A G E T R A N S L A T O R
N A T U R A L L A N G U A G E C L A S S I F I E R
N A T U R A L L A N G U A G E
U N D E R S T A N D I N G
S P E E C H T O T E X T
T E X T T O S P E E C H
V I S U A L R E C O G N I T I O N
T O N E A N A L Y Z E R
Vision
DiscoveryAssistant
Speech & Language
P E R S O N A L I T Y I N S I G H T S
Empathy
K N O W L E D G E S T U D I OM A C H I N E L E A R N I N G
V I R T U A L R E A L I T Y
,NOT Artificial Intelligence!

33. Text to Speech（しゃべる）- Speech to Text（聞く）

34. Text to Speech（しゃべる）- Speech to Text（聞く）

35. SSML(音声合成マークアップ言語)対応
<p><s>AIとは何か。「AI」という言葉は、一般的には人工知能
（Artificial Intelligence）の略だと定義されているが、IBMでは人
間の知識を拡張・増強するもの（Augmented Intelligence）だと考
えている。<break time="1000ms"/>つまり「AIとは人間にとって変
わるもの」ではなく<prosody rate="-10%">「AIとは人間の知識
や、持てる知見などを拡張し、増強するもの」</prosody>だと捉え
ている。</s></p>
• Google AssistantやAmazon Alexaで開発するのと同様のイメージ

36. https://youtu.be/fOfFrGsNwHo

37. Natural Language Understanding （言ってることを理解する）
joy
anger
fear
disgustsadness

38. Personality Insights（ユーザーの個性を理解する）
https://personality-insights-demo.ng.bluemix.net

39. Visual Recognition（見えた物を理解する）

40. Visual Recognition（見えた物を理解する）
https://developer.apple.com/ibm/

41. Watson Assistant (Conversation) （対話する）

42. Demo

43. Discovery（分類する、記憶する、検索する）

44. Watson Developer Cloud – AI : Augmented Intelligence
C O N V E R S A T I O N D I S C O V E R Y
L A N G U A G E T R A N S L A T O R
N A T U R A L L A N G U A G E C L A S S I F I E R
N A T U R A L L A N G U A G E
U N D E R S T A N D I N G
S P E E C H T O T E X T
T E X T T O S P E E C H
V I S U A L R E C O G N I T I O N
T O N E A N A L Y Z E R
Vision
DiscoveryAssistant
Speech & Language
P E R S O N A L I T Y I N S I G H T S
Empathy
K N O W L E D G E S T U D I OM A C H I N E L E A R N I N G
V I R T U A L R E A L I T Y
,NOT Artificial Intelligence!

45. “ ”
Watson Unity SDK使ってみたくなりましたか？

46. (参考) ハマりどころ Watson Unity SDK - Script &
Examples

47. (参考) ハマりどころ Watson Unity SDK Config Editor
2017 v0.13 2018 v2.2

48. (参考) ハマりどころ Watson Developer Cloud - Past &
Now
2015 2018
http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg248387.html

49. (参考) ハマりどころ Watson Developer Cloud - Past &
Now
2015 2018
http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg248387.html

50. アセットVR Watson Speech Sandbox

51. IBM Cloud
アカウント作成
Watson API
キー取得
Watson Unity SDK Unityアプリ開発
Watson API Explorer
Watson Unity SDKで開発するまでの大まかな流れ
Watsonの
カスタマイズ

53. https://developer.ibm.com/code
/patterns/create-a-virtual-reality-speech-sandbox/
https://github.com/ibm/vr-speech-sandbox-cardboard

54. Demo

55. Watson APIキー(Credential)の発行

56. IBM Cloud
アカウント作成
Watson API
キー取得
Watson Unity SDK Unityアプリ開発
Watson API Explorer
Watson Unity SDKで開発するまでの大まかな流れ
Watsonの
カスタマイズ

57. Log in > Catalog > Watson - https://bluemix.net

58. Watson > Services name (e.g. Text to Speech) > Scroll down >
Create

59. Manage > Credentials

60. “ ”一度作成した後、再確認する場合

61. Dashboard

62. Dashboard > Services name (e.g. Speech to Text-he)

63. Manage > Credentials

64. API Explorerによる単体テスト

65. IBM Cloud
アカウント作成
Watson API
キー取得
Watson Unity SDK Unityアプリ開発
Watson API Explorer
Watson Unity SDKで開発するまでの大まかな流れ
Watsonの
カスタマイズ

66. https://watson-api-explorer.mybluemix.net

67. Demo

68. Watson Assistant (Conversation)による
対話単体テストとリアルタイム学習

69. Watson Assistant (Conversation)による対話テスト

70. まずUnityで使える主要なWatson API まとめ
C O N V E R S A T I O N
N A T U R A L L A N G U A G E
U N D E R S T A N D I N G
T E X T T O S P E E C H
Watson Assistant チャット対話開発
Discovery/NLU 文書の理解/検索
Visual Recognition 画像判別
Personality Insights ユーザー性格分析
STT/TTS 音声合成/音声認識

71. まずUnityで使える主要なWatson API まとめ
Assistant Discovery NLU STT/TTS Visual
Recogniti
on
Personalit
y Insights
管理
ツール
有り 有り 無し
APIのみ
無し
APIのみ
有り 無し
APIのみ
備考 対話開発 文書の理解
検索
文書の理解 音声合成
音声認識
画像認識 性格分析

72. https://youtu.be/aBrsOvZlHZE

73. Action Now !
1. IBM Cloudアカウント作成
2. アセット IBM Watson Unity SDKダウンロード
アセット VR Watson Speech Sandboxダウンロード
3. IBM Code Patterns
GitHubソースコード揃ってます！
https://developer.ibm.com/code/patterns/
https://github.com/ibm/vr-speech-sandbox-cardboard
https://ibm.biz/BdZVKq

75. Thank you!
ご静聴ありがとうございました！

76. https://developer.ibm.com/code
/patterns/create-a-virtual-reality-speech-sandbox/
https://github.com/ibm/vr-speech-sandbox-cardboard

77. Watson Unity SDK: Overview
https://youtu.be/Sa5hmukwHV8
Create Voice Commands with Unity and Watson
https://youtu.be/OsbV1xqX0hQ

78. https://youtu.be/scMu66AvZtY
Watson Assistant - Recommendations Tutorial
Watson Assistant - Advanced dialog tutorial
https://youtu.be/Z_vmzC0tu60
Watson Assistant – Using Cloud Functions
https://youtu.be/y0A6X-KNoB8
Watson Assistant – Integrations Tutorial
https://youtu.be/O3silvVBaC8

79. http://www.ric.co.jp/book/contents/book_1128.html
http://www.ric.co.jp/book/contents/book_1071.html

80. 事例など THINK Watson https://www.ibm.com/think/jp-ja/watson/