CLT-015_音声を活用した UWP アプリの拡張 ～Cortana、音声合成、音声認識～

1. ROOM
C

2. セッションの目的
Windows 10 に搭載されている
音声系の機能を理解すること
アプリと Cortana の連携について知ること
アプリに、音声によるインターフェイスを
追加できるようになること

3. セッションの内容
Windows 10 と
音声合成 / 認識
Cortana と
アプリの連携
アプリ内での
音声合成
アプリ内での
音声認識

4. Cortana という言葉について
本セッションの内容

5. Cortana とは

6. Level 1

7. Windows 10 と音声認識

8. Windows 10 と音声認識

9. プライバシーの設定

10. Level 2

11. Cortana からアプリを呼び出す
音声コマンド定義
(VCD)
Microsoft
Speech
Recognition
Service
ジョルテ
ダイアリー

12. 全体の流れ

13. 音声コマンド定義 (VCD) とは?
<VoiceCommands
xmlns="http://schemas.microsoft.com/voicecommands/1.2">
<CommandSet xml:lang="ja-jp" Name=“ja-jp-CommandSet">
<AppName> デコード トラベル </AppName>
<Example> 対馬への旅行計画は? </Example>
<Command Name=“showTripToDestination">
<Example> 対馬への旅行計画は? </Example>
<ListenFor > {destination} への旅行 [計画] は? </ListenFor>
<Feedback> {destination} への旅行の計画を探します </Feedback>
</Command>

14. 音声コマンド定義 (VCD) とは?
<VoiceCommands xmlns="http://schemas.microsoft.com/voicecomm>
<CommandSet xml:lang="ja-jp" Name=“ja-jp-CommandSet">
<AppName> デコード トラベル </AppName>
<Example> 対馬への旅行計画は? </Example>
<Command Name=“showTripToDestination">
<Example> 対馬への旅行計画は? </Example>
<ListenFor > {destination} への旅行 [計画] は? </ListenFor>
<Feedback> {destination} への旅行の計画を探します </Feedback>
</Command>
AppName
Command
ListenFor Feedback

15. VCD での細かい定義
<ListenFor >
{Setting} [[の]{セッティング|設定|せってい|使用|しよう}]
[{を|の|は}]{OnOff}
</ListenFor>

16. PhraseList (フレーズ リスト)
<PhraseList Label="destination">
<Item>対馬</Item>
<Item>南大東島</Item>
<Item>日間賀島</Item>
<Item>波照間島</Item>
</PhraseList>

17. Level 3

18. バック
グラウンド
タスク
音声コマンド定義
(VCD)
バックグラウンドでつなげる
Microsoft
Speech
Recognition
ServiceGo to Adventure Works
Here are your upcoming
trips
A
Yosemite
August 15th
San Francisco
May 29th
旅行予定
を教えて

19. テキスト テキスト
タイトル
テキスト テキスト テキスト
68 x 68 68 x 92 280x140
アプリのアイコン URL

20. 参考情報

21. Proactive Action
• Cortana のさらなる活用法

22. Level 4

23. テキストからスピーチへ
こんにちは

24. private SpeechSynthesizer synthesizer = new SpeechSynthesizer();
private async void button_Click(object sender, RoutedEventArgs e)
{
SpeechSynthesisStream speechStream =
await synthesizer.SynthesizeTextToStreamAsync(textBox1.Text);
mediaElement1.SetSource(speechStream, speechStream.ContentType);
mediaElement1.Play();
}
Dim synthesizer As SpeechSynthesizer = New SpeechSynthesizer()
Private Async Sub button_Click(sender As Object,
e As RoutedEventArgs) Handles button.Click
Dim speechStream As SpeechSynthesisStream =
Await synthesizer.SynthesizeTextToStreamAsync(textBox1.Text)
mediaElement1.SetSource(speechStream, speechStream.ContentType)
mediaElement1.Play()
End Sub

25. Level 5

26. • 音声読み上げ用マークアップ言語
http://www.w3.org/TR/speech-synthesis11/
<speak version="1.0" xmlns="http://www.w3.org/2001/10/synthesis"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.w3.org/2001/10/synthesis
http://www.w3.org/TR/speech-synthesis/synthesis.xsd" xml:lang="ja-JP">
我々は宇宙人である
我々は宇宙人<prosody volume="-50%">で</prosody>ある
<prosody pitch="x-high" rate="fast">
我々は宇宙人である </prosody>
</speak>

27. <say-as interpret-as="date:ymd">2016/5/25</say-as>
<say-as interpret-as="ordinal">2016/5/25</say-as>

28. Level 6

29. 音声からテキストへ
こんにちは
こんにちは

30. var recognizer =
new SpeechRecognizer(SpeechRecognizer.SystemSpeechLanguage);
await recognizer.CompileConstraintsAsync();
SpeechRecognitionResult recognitionResult =
await recognizer.RecognizeAsync();
if (recognitionResult.Status == SpeechRecognitionResultStatus.Success)
textBlock1.Text = recognitionResult.Text;
Dim recognizer =
New SpeechRecognizer(SpeechRecognizer.SystemSpeechLanguage)
Await recognizer.CompileConstraintsAsync()
Dim recognitionResult As SpeechRecognitionResult =
Await recognizer.RecognizeAsync()
If recognitionResult.Status = SpeechRecognitionResultStatus.Success
Then
textBlock1.Text = recognitionResult.Text
End If

31. さまざまな聞き取り方法
Speech Recognition
Grammar Specification

32. Final Level

33. 株式会社富士通ソーシアルサイエンスラボラトリ様
FUJITSU Software LiveTalk v2
聴覚障碍者参加型コミュニケーションツール

34. • Cortana デベロッパーセンター
https://developer.microsoft.com/ja-jp/cortana
• Cortana の設計ガイドライン
https://msdn.microsoft.com/library/windows/apps/dn974233
https://msdn.microsoft.com/library/windows/apps/dn596121

35. What’s Next
Cortana とアプリの連携
• まずは VCD を用意して、Cortana からアプリを
呼び出せるようにしましょう
アプリ内での音声合成 / 認識
• アイデア次第で、可能性は無限大
• 実装は意外に簡単

36. アンケートにご協力ください。
●アンケートに 上記の Session ID のブレイクアウトセッションに
チェックを入れて下さい。
●アンケートはお帰りの際に、受付でご提出ください。
マイクロソフトスペシャルグッズと引換えさせていただきます。

37. ROOM C
Ask the Speaker のご案内
●本セッションの詳細は、EXPO 会場内
『Ask the Speaker』コーナー
Room C カウンタにてご説明させて
いただきます。是非、お立ち寄りください。
Ask the Speaker
EXPO会場MAP