.NETラボ勉強会資料

1. .NETラボ 勉強会 2016年4月
FPV LEGO MINDSTORM EV3
2016/04/23 初音玲

2. .NETラボ 勉強会 2016年4月
自己紹介
初音 玲
仕事略歴
• システム企画
• インフラ構築
• 業務アプリ構築
• DB設計、構築、各種支援
略歴
• Microsoft MVP (2008/04-2017/03)
• Oracle ACE (2008/04-:日本で２人目)
2

3. .NETラボ 勉強会 2016年4月
本日のシステム構成
LEGO MINDSTORM EV3
Raspberry PI 2 Freetel KATANA 01
Freetel KATANA 02
3

4. .NETラボ 勉強会 2016年4月
本日のシステム構成図
4
UWP
アプリ
UWP
アプリ
音声認識
音声合成
画像認識
コンパス
EV3制御
コンパス
表示
AllJoyn (予定)

5. .NETラボ 勉強会 2016年4月
本日のシステム構成図
5
UWP
アプリ
UWP
アプリ
音声認識
音声合成
画像認識
コンパス
EV3制御
コンパス
表示
AllJoyn (予定)

6. .NETラボ 勉強会 2016年4月
本日のシステム構成図
6
UWP
アプリ
UWP
アプリ
音声認識
音声合成
画像認識
コンパス
EV3制御
コンパス
表示
AllJoyn (予定)

7. .NETラボ 勉強会 2016年4月
コンパス連携
7

8. .NETラボ 勉強会 2016年4月
コンパス連携の仕組み
方位があうようにEV3の向きを変える
8
(1)方位計測(2)方位送信(3)方位差計算
(4)EV3制御
北方向=0 北方向=0

9. .NETラボ 勉強会 2016年4月
コンパス連携
方位測定
9
this.MyCompass = Compass.GetDefault();
private async void MyCompass_ReadingChanged(Compass sender,
CompassReadingChangedEventArgs e)
{
await CoreApplication.MainView.CoreWindow.Dispatcher.RunAsync(
CoreDispatcherPriority.Normal,
new DispatchedHandler(() =>
{
var reading = e.Reading;
this.HeadingMagneticNorth = reading.HeadingMagneticNorth;
this.HeadingAccuracy = reading.HeadingAccuracy.Text();
}));
}

10. .NETラボ 勉強会 2016年4月
【重要】機能で「場所」を許可
10

11. .NETラボ 勉強会 2016年4月
コンパス連携
方位差計算
• (0⇔360跨ぎは未考慮)→動かしてみたら実はすごく重要
11
var ceilHeading = Math.Ceiling(headingMagneticNorth);
var ceilRequest = Math.Ceiling(requestMagneticNorth);
if (ceilHeading < ceilRequest - 5)
{
// 東方向に回転
var step = (uint)Math.Ceiling((ceilRequest - ceilHeading) / 180);
}
else if (ceilHeading > ceilRequest - 5)
{
// 西方向に回転
var step = (uint)Math.Ceiling((ceilHeading - ceilRequest) / 180);
}

12. .NETラボ 勉強会 2016年4月
コンパス連携
EV3制御
12
private Lego.Ev3.Core.Brick Connecter;
await this.Connecter.DirectCommand.
StepMotorAtPowerAsync(OutputPort.A, 50, step, true);
await this.Connecter.DirectCommand.
StepMotorAtPowerAsync(OutputPort.D, -50, step, true);

13. .NETラボ 勉強会 2016年4月
音声会話
13

14. .NETラボ 勉強会 2016年4月
音声会話
14
Bot Frameworkは、
日本語でやるのに一工夫が必要
音声認識 雑談API 音声合成

15. .NETラボ 勉強会 2016年4月
音声会話
音声認識
15
this.Speech =
new SpeechRecognizer
(SpeechRecognizer.SystemSpeechLanguage);
var dictationConstraint =
new SpeechRecognitionTopicConstraint
(SpeechRecognitionScenario.Dictation,
"dictation");
this.Speech.Constraints.Add(dictationConstraint);
SpeechRecognitionCompilationResult result =
await this.Speech.CompileConstraintsAsync();
this.Speech.ContinuousRecognitionSession.ResultGenerated
+= ContinuousRecognitionSession_ResultGenerated;

16. .NETラボ 勉強会 2016年4月
音声会話
EV3制御+雑談
• https://api.apigw.smt.docomo.ne.jp/
16
var client = new HttpClient();
var respon = await client.PostAsync(requestUri,
new StringContent(json,
System.Text.Encoding.UTF8,
"application/json"));
var responJsonText =
await respon.Content.ReadAsStringAsync();
var ans =
JsonConvert.DeserializeObject<TAnswer>(responJsonTex
this.AnswerText = ans.utt;

17. .NETラボ 勉強会 2016年4月
音声会話
音声合成 (Win10標準)
17
var synthesizer =
new Windows.Media.SpeechSynthesis.SpeechSynthesizer();
var stream =
await synthesizer.SynthesizeTextToStreamAsync(message);
this.Element.SetSource(stream, stream.ContentType);
this.Element.Play();

18. .NETラボ 勉強会 2016年4月
音声会話で問題発生
18
音声認識 雑談API 音声合成

19. .NETラボ 勉強会 2016年4月
音声会話で問題発生
解決方法は？
1. 音声認識は操作側、音声合成はEV3側と役目を分ける
2. 音声合成時には音声認識をオフにする
19
音声認識 雑談API 音声合成
音声合成したものを音声認識が入力としてしまい
延々と雑談を一人ノリ突っ込みしてしまう

20. .NETラボ 勉強会 2016年4月
画像認識連携
20

21. .NETラボ 勉強会 2016年4月
FIN
25