Recommended
More Related Content
Featured
Featured (20)
視覚障碍者ための音声認証インタフェースデザイン
- 2. 2
- 5. 背景 視覚障害者の認証⽅法 ⾳声認証 ユーザが「⾳声を聞く」ボタン をクリック → コンピューターが「１ ５ ８ ９」と数字を読み上げる → ユーザが読み上げた⽂字を⼊⼒ → アカウントが取得可能 脆弱性 Stiltwalker という⾳声認識スクリプトで突破可能 5
- 6. 背景 視覚障害者向けの認証は未開拓 ⾳声を活⽤した認証に関する研究は乏しい • 認証の脆弱性の研究カテゴリは画像または⽂字を⽤いたものばかり • 既存システムに攻撃をするシステムを作るという内容 [Elie Bursztein 2014] [Suphannee Sivakorn 2016] 6
- 7. 背景 視覚障害者向けの認証は未開拓 ⾳声を活⽤した認証に関する研究は乏しい • 認証の脆弱性の研究カテゴリは画像または⽂字を⽤いたものばかり • 既存システムに攻撃をするシステムを作るという内容 [Elie Bursztein 2014] [Suphannee Sivakorn 2016] • 数少ない視覚障害者の認証カテゴリの研究は 「視覚的な認証システムをどうサポートさせればよいのか？」 という観点の研究ばかり [J. Holman 2008] [Bryan Dosono 2015] [太⽥ 2016] 7
- 8. 背景 視覚障害者向けUI確⽴は国際課題 研究意義 • 異なる⼈種、異なる⾔語、異なる読み上げツールにおいても 同様の結論が得られる[B. Dosono 2015] • 視覚障害者向けセキュリティインタフェースの研究事例は殆ど存在しない • ⾳声認証に着眼した研究は無い 8
- 9. 研究の⽬的 視覚障害者向け認証システムの確⽴ • ⾳声ベースの認証インタフェースのガイドライン設計 • 設計の注意点、システムの実現可能性を⽰す • セキュリティインタフェースのユニバーサル化 • 視覚障害者でも認証できるように • 晴眼者と同等の操作時間実現を⽬指す 9
- 10. ⽬的 ⾳声認証インタフェースガイドライン提案 研究フロー 1. 解決策の仮説⽴案 2. 仮説に基づきシステム開発 3. 実験による実⽤性検証 4. 得た知⾒の⼀般化 5. インタフェース設計ガイドライン提案 10
- 11. 研究仮説 ⾁声を利⽤した認証法が有効 • ⾳声認識は視覚障害者が利⽤できる[太⽥ 2016] • 視覚障害者にとって録⾳データの聞き取りは⽇常的 • 読書や勉強に利⽤されている[フィールド調査] • 晴眼者よりも聴覚が発達している • 2倍速の合成⾳声も聞き取れる[フィールド調査] 11
- 12. 提案 ⾁声を利⽤した認証法 ⾳声認識システムが認知できなかった⾳声を⼈間に解かせる • 脆弱性の克服 • 副次的に⾳声認識システムの精度向上に役⽴つ 聞き取りにくい⾳声の採取⽅法 ⾳声検索の際に意図しない結果が出た⾳声を利⽤ 12
- 13. プロトタイプ 13 ⽂字⼊⼒
- 15. プロトタイプの晴眼ユーザフィードバック • 読み上げ機能を使いこなすのが⼤変 • ⽂字⼊⼒は時間がかかる（⾳声⼊⼒が望ましい） • ⼊⼒回答に漢字やカタカナが混ざるとまずい • 提⽰⾳声は5⽂字程度に抑えるべき • フィードバックに振動や⾳声シグナルが必要 • ボタンが横並びの場合、ユーザが認知しづらい など 15
- 21. 提案⼿法の脆弱性 他の⾳声認識エンジンに突破される可能性 念の為に機械が更に認識しづらくなる⼯夫が必要 話者識別の研究事例 • 複数話者による同時発話の識別は複数の研究事例がある [宮原 2005] [⼭本 2007] [三菱電機 2017] [Honda 2011] • 同⼀話者による同時発話⾳声の識別の事例は確認できず ↓ 対策：同⼀話者による発話⾳声の利⽤
- 36. 実験のまとめ 回答時間の短さ、聞き取り回数の少なさ 単⼀ > 残響 > 複合 正答率 単⼀ = 残響 （約65〜70%） 既知単語の場合、全体のユーザビリティ向上 単⼀は正答率90%達成
- 41. テスト項⽬ 提⽰⾳声の再⽣速度を2.0倍に変更 ⼊⼒ タッチ 仮定 ユーザがiPhoneを利⽤可能 ステップ 1.バーの位置を探り出す 2.バーが速度変更のためのものであることを認識 3.速度の変更⽅法を理解 4.現状の速度を理解 5.速度をアップ 6.現状の速度を確認 成功基準 30秒以内に速度を変更する 備考 ユーザはアイマスクを着⽤ 評価実験 ユーザビリティテストの例 ユーザビリティテストとは？ ユーザによるタスク処理を通じ て使いやすさを評価するテスト [Jakob Nielsen 1993]
- 43. ユーザビリティテストの評価指標 43 タスクの完了時間：被験者がタスクを完了するまでの時間 タスクの完 遂：被験者が正しく完了したタスクの割合 タスクレベルの満⾜度：難しいタスクにフラグを⽴てる 重⼤なエラー：ユーザがタスクを完了できなくなるエラー 軽微なエラ ー：タスクの完了に影響を及ぼさないエラー エラーフリー率 ：エラーなしにタスクを完了した被験者 テストレベルの満⾜度：被験者の全体を通した体験の評価 ※満⾜度はリッカート尺度による主観評価によって定める
- 57. 感性評価 イメージプロフィール 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定
- 61. 本研究まとめ 研究の意義は絶⼤ • ユーザブルセキュリティインタフェースの確⽴は国際課題 • アクセシブルな⾳声認証システムの研究事例は殆ど無い 視覚障害者向けセキュリティインタフェース改善 • まずは認証システムからユニバーサル化 • ⾳声認証インタフェースの設計ガイドラインを確⽴した 61
- 62. 展望 設計 GUIコンポーネントの配置再設計 実験 • サンプルサイズの増加（n>8） • 全体の検定と多重⽐較 • 既存⼿法との実験条件を揃えた上でユーザビリティ⽐較 • 実際の障碍者で認証実験 62
- 63. ターゲットと解決策 WHO：視覚障碍者（特に後天性全盲） WHERE：室内 WHEN：認証時 WHY：既存⼿法は脆弱かつ使いづらい WHAT：チューリングテスト HOW：⾁声を利⽤した⾳声認証
- 66. 66 fin
- 68. 後天性全盲者へのインタビュー基礎調査 VoiceOverおよびiOSデバイスについて • 秘匿性の問題から⾳声認証を普段利⽤していない • ソフトウェアキーボードが扱えないユーザは多い • iPhone使⽤者でもキーボードの扱いに慣れるには訓練が必要 • UIに効果⾳や振動は必須ではない • 結局、⾳声ガイドを頼りにするから • VoiceOver利⽤時はフリック操作を多⽤ 68
- 69. 後天性全盲者へのインタビュー基礎調査 既存のチューリングテストについて • 視覚障碍者向けに対応しておらず実際に認証できないケースがある • 管理者に電話すると突破できる場合がある • Twitterの認証など • 合成⾳声を聞いて認証するテストは提⽰⾳声が聞き取りにくい 69
- 70. 後天性全盲者へのインタビュー基礎調査 ⾳声認証について • 秘匿性が重要 • パスワードの発⾔に抵抗 • キーワード検索なども可能な限り知られたくない • 声紋認証は需要がありそう • パスワードを登録して認証時に発⾔ • 話者識別＋パスワードならば周囲に知られても問題ない 70
- 71. 他の実験 iOSのUIコンポーネント評価 読み上げ機能利⽤時の印象・使いやすさを感性⼯学の視点で評価 SD法 → イメージプロフィール + 因⼦分析 /ユーザビリティテスト/ エスノグラフィー/半構造化インタビュー 71
- 72. 感性評価 ラベル 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定
- 73. 感性評価 ラベル 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定
- 74. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 ボタン
- 75. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 セクションコントロール
- 76. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 テキストフィールド
- 77. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 スライダー
- 78. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 スイッチ
- 79. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 アクティビティ
- 80. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 プログレス
- 81. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 ピッカー
- 84. 背景 視覚障害者の現状 84
- 85. 85
- 86. 背景 視覚障害者は認証が遅い WEBページのセキュリティのアクセシビリティを評価した研究 視覚障害者と晴眼者とタスク処理時間の⽐較 outlookのログイン認証（太⽥2016） • 視覚障害者は晴眼者の約5倍の操作時間 • 実験の際には視覚障害者向けのテキスト読み上げツールを使⽤ 太⽥裕也，⾦岡晃，森達哉，視覚障害者に対するウェブ認証インタフェースのアクセシビリティ評価，研究報告セキュリティ⼼理学とトラスト，pp.1-6， 2016. 86
- 88. 背景 reCAPTCHAとは 認証システム • Completely Automated Public Turing test to tell Computers and Humans Apart • コンピューターと⼈間を区別するための 完全に⾃動化された公開チューリングテスト 88
- 90. 背景 reCAPTCHAの認証法の種類 バージョンによって異なる 1. ⼿書き画像による認証 2. ⼈間によるセルフチェック 3. 9枚の画像から同類のものを探る認証 4. ユーザ⾏動から⾃動分析 90
- 92. 背景 reCAPTCHA V1 特徴 • OCRで読み取れなかった書籍の⽂字が表⽰ • 表⽰された⽂字を読んでフォームに打ち込む • reCAPTCHA V1のおかげで年間250万冊もの本が電⼦化 92
- 93. 背景 reCAPTCHA V1 脆弱性 ⼀⽂字ごとに分割することで突破 参考 Multi-digit number recognition from street view imagery using deep convolutional neural networks 93
- 95. 背景 reCAPTCHA V2 特徴 • 1枚の画像が9〜16グリッドに分割 • 「乗り物を選択」などのお題が提⽰ • お題に該当するグリッドを選択して認証 • 副次的になにかに役⽴っているかは不明 95
- 96. 背景 reCAPTCHA V2 画像選択 脆弱性 • 70%以上低コストで突破できる • 1枚の画像の解読時間は平均19秒 • 解像度が⾼い画像ほど突破が楽 参考 • I Am Robot：(Deep) Learning to Break Semantic Image CAPTCHAs • I’m not a human: Breaking the Google reCAPTCHA 96
- 98. 背景 reCAPTCHA V3 特徴 • ユーザ⾏動をトラッキングして⾃動認証 • マウスやスクロールの動きなど • ⾏動が怪しまれた場合のみ⼿動認証 • 取得したユーザの⾏動を蓄積しビッグデータに • ビッグデータから怪しさを判定 • 判定精度が⾃動的に進化 98
- 99. 背景 reCAPTCHA V3 脆弱性 • シークレットタブではユーザ⾏動がトラッキング不可 • ロボットか疑われたらレガシーフロー（v1、v2）で認証 • クリックジャックを悪⽤すると突破可能 • 善良なユーザの⾏動をスキャンして悪⽤ • ロボットなのかを断定することは不可 参考： The No CAPTCHA problem 99
- 100. 背景 reCAPTCHA V2 チェックボックス 突破⽅法 2Captchaで突破可能 • バイトくんが⼿動で 解錠している模様 100
- 101. 背景 ⾳声版reCAPTCHA Invisible reCAPTCHA ユーザが「⾳声を聞く」ボタンをクリック → コンピューターが「１ ５ ８ ９」と数字を読み上げる → ユーザが読み上げた⽂字を⼊⼒ → アカウントが取得可能 101
- 102. 背景 Invisible reCAPTCHAの問題点 脆弱性 Stiltwalker を使えば突破できる 機会損失 reCAPTUREの⻑所が活かされていない • V1は書籍の電⼦化に副次的に貢献している • これは副次的な効果がない 102
- 103. 仮説 想定ボトルネック 着眼点 参考：[太⽥ 2016] • 認証速度 • 回答の正当性評価 • ⼈間にも聞き取れない⾳声の認証 • 認証成否の確認 • 認証失敗時のフォロー⽅法 • 環境ノイズの影響 103
- 104. 提案 想定ボトルネックと解決策 着眼点 参考：[太⽥ 2016] • 認証速度 • 回答の正当性評価 • ⼈間にも聞き取れない⾳声の認証 • 認証成否の確認 • 認証失敗時のフォロー⽅法 • 環境ノイズの影響 解決策 再⽣速度を可変 統計的処理 提⽰⾳声リジェクトと別⾳声提⽰ ⾳声シグナルによるフィードバック リジェクト数が少ない⾳声提⽰ ノイズを含む⾳声を提⽰し検証 → → → → → → 104
- 105. 調査実験 ガイドライン作成に向けて 調査項⽬ • 既存システムの問題点抽出（操作時間やミス回数、ユーザ不満） • 提案システムおよび⾳声による認証システムの脆弱性や懸念点 • 年齢、性別、障害の程度（全盲、弱視、晴眼）による差 • 操作時間（提⽰⾳声を聞く速度、⽂字起こし速度） • 提⽰⾳声の再⽣回数（聞き返し回数） • ⾁声の聞き取りやすさ（発話速度、声量、⽅⾔、英語、⿐声） • ⾳声シグナルの意図理解 • 場所による認証精度の違い（環境ノイズの影響） 105
- 106. 提案 ユーザ回答の正答性の検証⽅法 統計的に正答を決定 • 20⼈のうち11⼈以上が同じ回答をしていたその回答を正答に • reCAPTCHA3（ユーザトラッキング）と併⽤ ユーザ回答と正答を照らし合わせる 106
- 107. 提案 Invisible reCAPTCHA V2 利点 • 視覚障害者も晴眼者も利⽤可能 • 副次的に⾳声認識システムの精度が向上 • 突破されたとしても⾳声認識システムの精度向上に役⽴つ 107
- 108. プロトタイプ1 特徴 • iOSアプリ • Swiftで制作 • ⾳声の提⽰と⾳声認識 • とても簡素 108
- 109. 提案 プロトタイプ 機能（優先度順） 1. ⾳声のランダム提⽰ 2. 正当性の⾃動評価 3. ユーザ側が提⽰⾳声を選べるように 4. 聞き取りにくい⾳声の⾃動抽出 5. 国や地⽅ごとの⾳声を利⽤ • GPSを利⽤してユーザの所属地域（国や地⽅）を割り出す • その地域の⾔語や⽅⾔の⾳声を提⽰ 109
- 110. 調査⽅法 ユーザビリティテスト ユーザ • 質的実験 • 後天全盲1名〜、先天全盲1名〜 • 量的実験 • アイマスクを着⽤した晴眼者5名 参考：[Nielsen Norman Group] 110
- 111. 課題点 ⽂字で表現できない微妙な⾳をどう扱うか • 提案⾳声から排除 • 発⾳記号の利⽤ • Wiktionary:⽇本語の発⾳表記 https://ja.wiktionary.org/wiki/Wiktionary:%E6%97%A5%E6%9C%AC%E8%AA %9E%E3%81%AE%E7%99%BA%E9%9F%B3%E8%A1%A8%E8%A8%98 111
- 112. 関連研究 関連研究 112
- 113. 関連⽂献 1 I’m not a human：Breaking the Google reCAPTCHA 論⽂ 2 reCAPTCHA： Human-based character recognition via web security measures 論⽂ 3 Google Online Security Blog, “Are you a robot? Introducing “No CAPTCHA reCAPTCHA 公式ドキュメント 4 The end is nigh： Generic solving of text-based CAPTCHAs.” in USENIX WOOT 論⽂ 5 Multi-digit number recognition from street view imagery using deep convolutional neural networks 論⽂ 6 The No CAPTCHA problem ブログ 7 Show and tell：A neural image caption generator 論⽂ 8 Deep visual-semantic alignments for generating image descriptions 論⽂ 9 NMF-KNN：Image Annotation Using Weighted Multi-view Non-negative Matrix Factorization 論⽂ 10 Massive-scale online collaboration 動画 11 【2Captcha】Python+Seleniumで『reCAPTCHA』を突破する⽅法 ブログ 12 reCaptcha、85%の精度で⾃動解析・突破できますってよ ブログ 13 機械学習を使ってCAPTCHAをわずか15分で突破するチャレンジが⾏われる ブログ 14 Googleの⾳声認識を利⽤してreCAPTCHAを突破できると研究者が発表 ブログ 15 画像認証のreCAPTCHAがv3にバージョンアップ ブログ 16 あの「イラつく⽂字認証」のおかげで年間250万冊もの本がデジタル化されている - ログミーBiz ブログ 17 語学の学習をしながら、実はネットを翻訳「Duolingo」 ブログ 113
- 115. 関連研究 （太⽥ 2016） 認証フォームや⽬的の場所の選択の困難性 • 認証フォームが発⾒不可、発⾒に時間がかかる問題 • スクリーンリーダーが「ログイ ン」の⽂字を読まなかった • メニュー を開くタブを探すことに苦戦していた • タブが「リンク」 としか読まれないので，上からひとつひとつ開く必要 • ラジオボタンの選択に時間がかかる • ラジオボタンはスクリーンリーダーで読めない • 広告が多すぎて選択のノイズになっている 115
- 116. 関連研究 （太⽥ 2016） 認証成功確信の困難性 • 健常者はログインが成功すると画⾯の切り替わる • しかし、切り替わった 画⾯を把握するのに時間がかかる • ログインの確信条件 • 「ユーザ名」が聞こえたとき • 「ログアウト」という⾳声 が聞こえたとき 認証成否をいかに障害者に伝えるかが設計において重要 116
- 117. 関連研究 （太⽥ 2016） ⾳声認証の困難性 • 視覚障害者も晴眼者も⾳声認証に対して悪印象を抱いている • ボタンを押しても再⽣されないという理由で認証失敗 • ⾳声を再⽣できた⼈の中で，何を⾔っているかわからずに認証に 失敗した⼈はいなかった 画像認証や⾳声認証にとって変わるアクセシビリティが⾼い 新たな認証技術の開発が期待されている 117
- 118. 関連研究 （太⽥ 2016） 環境起因の困難性 • ボタンが押せない • 失敗は「⾳声認証に切り替える」や「アカウントの削除」のボタンが押 せないようなケースがいくつかあった ブラウザとスクリーンリーダーや OS の相性などが原因 118
- 119. 関連研究 （太⽥ 2016） 認証情報⼊⼒の困難性 • パスワード⼊⼒ • 失敗例 • 誤⼊⼒による失敗 • ⼊⼒中に別のメニューを開いて失敗 • 実装 • (1) ⼊⼒内容を⾳声で読み上げる実装 • (2) マスクした⽂字 (アスタリスクなど) を読み上げる実装 • (3) ⼊⼒内容は⼀切読みあげない実装 セ キュリティとアクセシビリティはトレードオフ 119
- 120. 関連研究 （Shiri 2012） 認証の秘匿性と意識の問題 • 潜在的なセキュリティの脅威に気付いていないか、⼼配していない • パスワードで保護された画⾯ロックなどのオプションの認証⽅法を使 ⽤した参加者は⼀⼈もいませんでした • スクリーンリーダでパスコードを読み上げてしまうと秘匿性が損なわ れ危険 • 認証のたびにヘッドホンで⽿を塞ぐことを視覚障害者は避けたがって いる 120
- 121. Deep visual-semantic alignments for generating image descriptions 画像にどんな物体が映っているのかを判定 ニューラルネットワークを利⽤ 121
- 122. NMF-KNN：Image Annotation Using Weighted Multi-view Non-negative Matrix Factorization 画像に⾃動でタグをつけるための機械学習モデルの研究 • 多視点⾮負⾏列因数分解（NMF）の重み付き拡張 • 異なる特徴にわたって係数⾏列にコンセンサス制約を課すNMF-KNNアプローチ 従来のモデル：新しい画像がDBに追加された場合再学習が必要に 本論⽂ ：この問題を解決 122