コンピュータセキュリティシンポジウム2019 敵対的視点とユーザ行動 2E1-2

1. 10/22/2019©Shinnosuke Takamichi,
The University of Tokyo
話者V2S攻撃：話者認証から構築される
声質変換とその音声なりすまし可能性の評価
中村 泰貴*1, 齋藤 佑樹*1, 高道 慎之介*1, 井島 勇祐*2, 猿渡 洋*1
(*1: 東京大学，*2: NTT)
コンピュータセキュリティシンポジウム2019
敵対的視点とユーザ行動 2E1-2

2. /15
研究背景：音声による個人認証システムと
システムへの攻撃
 話者認証：音声により登録済みユーザを特定する生体認証 [Dehak11]
– ユーザ負担が小さく，スマートスピーカなどで利用 [Prabhavalkar15]
– 更なる普及を見据え，音声なりすまし攻撃に利用される可能性あり
 話者V2S攻撃：話者認証を用いた音声なりすまし攻撃
– 認証システムが攻撃者により暴露された場合に，登録済みユーザの
音声を人工的に復元する攻撃 (すなわち Verification-to-Synthesis)
– 本稿では，声質変換技術を用いた攻撃法を議論
 声質変換 (音声変換)：データドリブンのボイスチェンジャ [Toda07]
– 事前収録音声を用いて，音声の声色を特定の他者の声色に変換
– 近年では，深層学習 (DNN) に基づく変換技術も登場 (次ページ)
2

3. /15
リアルタイムDNN音声変換
3
https://www.youtube.com/watch?v=P9rGqoYnfCg
[Arakawa19]

4. /15
本発表の概要
 声質変換を用いた話者V2S攻撃
– 認証システムに音声は保存されないため，通常の声質変換は不可能
– 本発表では，音声ではなく話者認証から学習される声質変換を提案
4V2Sの話者再現度は，少量の音声を用いる通常の声質変換と同程度
音声なりすまし
変換
声質変換
声質変換を用いた話者V2S攻撃
音声で個人認証
攻撃者
攻撃対象話者
(話者認証に
登録済み)
話者認証を暴露
変換

5. 音声から学習される通常の声質変換
(攻撃対象話者の音声を入手できた場合の音声なりすまし攻撃)
5

6. /15
通常の声質変換
6
攻撃者
こんにちは
はじめまして
攻撃対象話者
こんにちは
はじめまして
対応関係を学習
変換して！ 変換して！
あらゆる発話を変換可能
 パラレル (同一内容) 発話に基づく方法 (上図) [Toda07]
– 攻撃者は，攻撃対象話者の音声と同じセリフを発話・収録
 ノンパラレル (非同一内容) 発話に基づく方法 [Saito18]
– 攻撃者は，自身のあらゆる発話を利用可能．少量の発話でも良い．
学習時
声質変換時

7. 話者V2S攻撃：
話者認証から学習される声質変換
7

8. /15
攻撃の設定と提案アルゴリズム
 設定①：話者認証・声質変換モデルはDNNで記述
– Backpropagation による学習を行うため
 設定②：話者認証システムはホワイトボックス
– モデルのDNN構造と話者ラベルは，攻撃者にとって既知
– やや非現実的だが，話者V2S攻撃の性能限界を知る上で重要
 アルゴリズム：話者認証と音声認識を利用した声質変換の学習
– 話者認証は話者性のみを評価するため，話者認証の利用だけでは，
変換音声の音韻性 (発話内容) が消失
– そこで，攻撃者は音韻性を評価する音声認識も利用して学習
8

9. /15
話者認証と音声認識
9
学習時
音声
特徴量
one-hot
話者
ベクトル
音声特徴量から話者を
推定するようにDNNを学習
話者認証 (認証側が用意)
話者認証時
話者事後確率を出力して
入力音声の話者性を評価
0.9
0.1
学習時
音声
特徴量
one-hot
音素
ベクトル
音声特徴量から音素を
推定するようにDNNを学習
音声認識 (攻撃側が用意)
音声認識時
音素事後確率を出力して
入力音声の音韻性を評価
0.9
0.1
a
i
a
i
a

10. /15
V2S攻撃における声質変換の学習
10
Loss = SoftmaxCrossEntropy + 𝜔 ⋅ MeanSquaredError
変換側(攻撃側) 認証側
攻撃対象話者の
話者ラベル
話者認証モデル
Mean squared
error
声質変換モデル
音声認識
モデル
音素事後確率
Softmax
cross-entropy
変換前後で音韻性を保存
攻撃対象話者の話者性を復元
攻撃者の
音声特徴量
weight

11. /15
考察
 従来の音声なりすまし研究との比較
– 従来：話者認証を騙す人工音声の合成が目的 [Wu13]
– 本研究：話者認証を騙すことによる個人性復元が目的
 敵対的攻撃 (adversarial attack) [Goodfellow14] との目的の違い
– 敵対的攻撃：認識モデルを誤認識させるデータを生成
– 本研究：認識モデルから攻撃対象の属性 (本稿では話者性) を復元
 より現実的な設定に向けた要素
– 本稿で無視した伝達経路（波形生成・空間伝達・音声分析）の考慮
– ブラックボックス話者認証への攻撃手段
11

12. 実験的評価
12

13. /15
実験条件
13
条件 値・設定
攻撃者 男性1名
攻撃対象話者 男2名・女2名．本発表では男性の結果のみ表示．
DNN構造 声質変換・話者認識・話者認証ともに
Feed-forward DNN (詳細は原稿参照)
登録済みユーザ数 260 (攻撃対象話者4名を含む)
比較手法 ①通常の声質変換 (パラレル5, 10, 30発話で学習)
②通常の声質変換 (ノンパラレル25発話で学習)
③話者V2S (200発話で学習)
各手法で生成される音声の自然性と話者再現度
(攻撃対象話者の話者らしさをどの程度再現できるか) を主観的に評価

14. /15
自然性・話者再現性における比較
(評価者は40名．スコアが高いほど良い)
14
話者V2S攻撃の話者再現度は，
パラレル5発話を用いる通常の声質変換と同程度
手法A スコア 手法B
パラレル5発話 0.388 vs. 0.612
V2S
パラレル10発話 0.475 vs. 0.525
パラレル30発話 0.458 vs. 0.542
ノンパラレル 0.598 vs. 0.402
自然性に関するプリファレンスABテスト
手法A スコア 手法B
パラレル5発話 0.530 vs. 0.470
V2S
パラレル10発話 0.615 vs. 0.385
パラレル30発話 0.675 vs. 0.325
ノンパラレル 0.660 vs. 0.340
話者再現度に関するプリファレンスXABテスト
* 太字は p値 < 0.05 で優れた手法

15. /15
まとめ
 新たな音声なりすまし攻撃を提案・評価
– 話者V2S攻撃：話者認識から登録済みユーザの声を復元
– 音声データなしから声質変換を学習
 評価結果
– 少量の音声データを用いる通常の声質変換と同程度の性能
 今後の予定
– 多数話者の事前収録音声を用いた攻撃法
– 話者V2S攻撃に対する防御法
15