Download to read offline
Uploaded byMineo Matsuya
Smart speaker QA
スマートスピーカー、VUIのプロダクトはどのようにテスト行えばよいのか？ どのような問題が起きたか例を挙げ、VUI TestAutomationとTeam buildingの話を行いました。 最後の方に機械学習を用いた探索的テスト自動化の話も行いました。 How can we test VUI products? I gave an example of what kind of problems occurred and talked about VUI TestAutomation and Team building. I also talked about exploratory testing automation using machine learning at the end.
![[Jjug]java small object programming](https://cdn.slidesharecdn.com/ss_thumbnails/jjugjavasmall-objectprogramming-130511045534-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
Smart speaker QA
- 1.
- 2. 自己紹介 名前：松谷峰生（まつやみねお） LINE Fukuoka株式会社 QADept ClovaQA part Leader 活動 • JaSST Kyushu 共同実行委員長 • QA4AIコンソーシアムメンバー • イラストレーター 趣味の活動 • 筋トレ • イラスト • 新人さんからわかるソフトウェアテストマンガ「テスターちゃん」
- 3. 目次 Introduction Clova紹介 Clova 簡易構成 Test Automation クエリ数問題 学習問題 テスト結果の共有 TeamBuilding お昼寝 カンバンの『見える化』 みんなで観点出し 1 on 1 研究中課題
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10. Smart Speaker 簡易構成 今日の博多は 雨が降る？ SRNLU 今日の博多は 雨が降る 天気 SKILL 天気SKILL • 今日 • 博多 • 降水確率 TTS 今日の福岡県福岡市博多区は くもりでしょう。降水確率は80%です
- 11.
- 12.
- 13.
- 14. クエリ数問題 博多の天気は？ 福岡県の天気は？ 福岡市の天気は？ 福岡県福岡市博多区の天気は？ 天気は？ 天気教えて / 天気”を”教えて 天気どう？/ 天気”は”どう？ 傘いる？ / 傘”は”いる？ 晴れる？ / 晴れるかな？ 午後3時の福岡県福岡市博多区の天気どう？
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. 学習問題（今まで） 月曜日は全体デグレチェックの日 • 12人ほどで半日（4h *12 = 48h) • スキル増加に伴い毎回確認時間が伸びていく 1か月に1回、人口トップ200の市区町村や 時間部分の認識がデグレを起していないかの確認 • 4人で1日 (8h * 4 = 32h)
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30. 学習問題（今まで） 月曜日は全体デグレチェックの日 • 月曜日のデグレチェックは終了 • 日々自動化が回っている •48h → 0.5h へ短縮 1か月に1回、人口トップ200の市区町村や 時間部分の認識がデグレを起していないかの確認 • 自動化のみが回っている
- 31.
- 32. 学習問題 精度は 音声認識 チーム 確認 男女計50名 20代 30代 40代 距離 1.5m3m 環境 Clean Noise BargeIn
- 33.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51. 1 on 1継続させるための手法 時間を 固定 一人 15分ほど
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 58. 現在実験中 テストクエリの自動生成(学習) 今日は いい天気です The weatheris good today Encorder-decoderモデル
- 59.
- 60.
- 61.
- 62.
- 63. 現在実験中 期待結果推定(学習) 今日の博多の湿度は 今日 クエリの形態素解析 の 博多の 湿度 は 今日の博多区の湿度は70パーセントの予想です。 .+の.+の湿度はd+パーセント の予想です CNN
- 64.
- 65.
- 66. 現在実験中 結果比較 博多の湿度は 博多 湿度 今日の博多区の湿度は70パーセントの予想です。 博多区湿度今日 70パーセント 単語ベクトルで 親和度を測る PASS FAIL Step.2 クエリに対して意味が通った回答か
- 67.
- 68.
- 69.
- 70.
- 71.
Editor's Notes
- #4 5分 16:35
- #7 Clovaは「Cloud virtual assistant」の略称 VUI = Voice user interface CUI = Character User interface GUI = Graphical user interface
- #10 SR = Speech Recognition NLU = Natural Language Understanding Skill = ようはコンテンツのこと SS = Speech Synthesizer
- #11 10分 16:40
- #13 Test Automationとは、手作業でやっていたソフトウェアテストを、PCなどで自動的にテストしよう、という試みです。 手でやるのは本当に時間がかかる。 繰り返しといった作業もつらい。 Webだとseleniumというツール AppだとAppiumというツールが有名
- #14 クエリ、というのは、テストする時に「今日の天気は何？」といったスマートスピーカーに渡す内容のこと
- #16 同値分割： 例えば年齢で小学生、中学生、高校生みたいな出力をする機械があったとすると、 例えば６歳の時、７歳の時、８歳のとき・・・と全部試すわけじゃなくて、６歳で小学生、１２歳で小学生、１３歳なら中学生・・・ みたいな、同じ出力をする範囲は同じものとして代表値を試すテスト技法
- #17 用語の説明 Pairwiseは効率的に、組み合わせしてテストする手法です。 例えば５種類全部の組み合わせると5の5乗とかになっちゃうのですね。 それだとテストする側は死ぬのですよ。 けど実際バグが出やすい組み合わせは２種類の組み合わせの時が多い。 その性質を利用して、２種類の組み合わせを作っていくのがペアワイズ（オールペア）の方法です。 2種類だけでなく３種類とかの保証ももちろんある
- #19 17分 16:47
- #35 25分 16:55
- #45 いつでも見えるようにすること、会話を促すこと。アジャイルでいうShared understandingの考え方。 自動更新されないのはデメリットではない。チームメンバー全員が進捗に責任をもって協力し合うこと、最終的には全員でプロジェクトマネジメントできるようにすることも狙いの一つ
- #48 チームが24人いますが、それぞれ4人の細かいチームに分かれている
- #51 できたこと、わかったことに注目 KPTだと、keepを強化することにも目を向けるけど基本は問題点の改善に目がいってしまう
- #52 40分 17:10 続かない、というマネージャーも多いと思う 時間を固定してしまって習慣化する できれば一人十五分くらいの時間にする