目標ドメインにおける少量サンプルの近傍データを用いた文書分類器の精度推定手法 （第138回MPS・第70回BIO合同研究発表会） 2022年6月28日（火） NTTデータ 技術革新統括本部 システム技術本部 データ＆インテリジェンス技術部 田原 英一 湯浅 晃

1. © 2022 NTT DATA Corporation
目標ドメインにおける少量サンプルの近傍データを用いた
文書分類器の精度推定手法
2022年6月28日
NTTデータ 田原 英一 湯浅 晃
情報処理学会 第138回 MPS研究発表会

2. © 2022 NTT DATA Corporation 2
1.はじめに
2.先行研究
3.提案手法
4.実験・評価
5.まとめ

3. © 2022 NTT DATA Corporation 3
はじめに

4. © 2022 NTT DATA Corporation 4
課題
企業への機械学習の導入において，業務システムからの大量データの抽出・加工は大きな工数が必要
デ
ー
タ
モ
デ
ル
テキストデータの
固有名詞は
匿名化して
個人情報対策
して
データ抽出に
時間がかかる・・・！
会社
データ抽出方法
教えて
ITベンダー

5. © 2022 NTT DATA Corporation 5
本研究の目的
少量の目標ドメインのサンプルをもとに，目標ドメインの真のサンプルを大量に用いた場合の分類器の精度を推定し
たい
少量のサンプルデータから
分類器の精度を推定でき
れば，時間を無駄にする
リスクを下げられる！
A会社
(元ドメイン)
B会社
（目標ドメイン） うちでもA会社の
やつやりたい
AIモデル
このAIの精度
なかなかだな
本研究の目的
ITベンダー
数十件のサンプル
ならすぐ送れる
少
量
サ
ン
プ
ル
テキストデータ
精
度
推
定
特徴量データ
デ
ー
タ
モ
デ
ル
＋

6. © 2022 NTT DATA Corporation 6
先行研究

7. © 2022 NTT DATA Corporation 7
先行研究
目標ドメインのデータが数十件程度と著しく少ない条件下では，転移学習の適用が難しい
元ドメインからランダムサンプリン
グすると，目標ドメインのデータ
として妥当性を説明できない
本研究のゴールは
目標ドメインの真のサンプルを
大量に用いた場合のモデル精度
を推定すること
モデル
モデル
事例ベース/データ拡張
特徴ベース/モデルベース 学習
目標ドメインのデータ数が少な
いと学習が進まない
学習
モデル
(真の精度)
学習
:元ドメインのデータ
:目標ドメインのデータ
特
徴
空
間
/
パ
ラ
メ
ー
タ
元ドメイン
（数千～数万件のデータ）
目標ドメイン
（数十件のデータ）
先行手法の課題
データの転移・拡張
（飼いならし法[神嶌 2008]
の場合はランダムサンプリング）
特徴空間・パラメータの転移

8. © 2022 NTT DATA Corporation 8
提案手法

9. © 2022 NTT DATA Corporation 9
提案手法
目標ドメインのサンプル(T)数が，目標ドメインの全サンプル数をクラスタ数で除算した値以上となるクラスタ(下図の
Cluster=0 とCluster=1)について，所属する元ドメインのサンプル(S)を，目標ドメインのサンプルと見立てる
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
Cluster=1 →採用
Cluster=0 →採用 Cluster=2
S
T
S
T
T
S
S
S
x
y S:元ドメイン
T:目標ドメイン
T
元ドメイン
特徴量データ
目標ドメイン
テキストデータ
文書ベクトル
文書ベクトル
①文書ベクトル変換
モデル作成
②クラスタリングによる近傍データ特定 ③近傍データでの分類器作成
Universal Sentence Encoder ロジスティック回帰
K-means
文書ベクトル
Cluster=1
Cluster=0
モデル

10. © 2022 NTT DATA Corporation 10
実験・評価

11. © 2022 NTT DATA Corporation 11
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
y
ランダムサンプリング(3550件)
提案手法(3550件)
実験①：提案手法によるモデルとランダムサンプリングによるモデルの精度比較
社内のマーケティング用のテキストデータ(5000件・自由記述・商品購入有無の教師ラベル付与)を用いて，元ドメインから提案
手法で抽出したモデル精度と，ランダムサンプリングで抽出したモデル精度を比較した
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
Cluster=1 →採用
Cluster=0 →採用 Cluster=2
S
T
S
T
T
S
S
S
x
y S:元ドメイン
T:目標ドメイン
T
x

12. © 2022 NTT DATA Corporation 12
評価①：提案手法によるモデルとランダムサンプリングによるモデルの精度比較
モデルのAUC の平均値は，提案手法では0.791，ランダムサンプリングでは0.773となった
対応なしt 検定の結果，p 値が0.003 となり，両者の母平均について有意差があることを確認した
AUC
提案手法 ランダムサンプリング

13. © 2022 NTT DATA Corporation 13
実験②：提案手法による精度推定値と真の精度比較
元ドメインから提案手法によって抽出したモデル精度と，目標ドメインの全量データのモデル精度(真のモデル)を比
較した
y S:元ドメイン
T:目標ドメイン
T
T
T
T
T
T
T
T
目標ドメインの全量データ(真のモデル)
T
T
T
T
T
T
T
提案手法
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
Cluster=1 →採用
Cluster=0 →採用 Cluster=2
S
T
S
T
T
S
S
S
x
y S:元ドメイン
T:目標ドメイン
T
x
T
T
T
T
T
T
T

14. © 2022 NTT DATA Corporation 14
評価②：提案手法による精度推定値と真の精度比較
真のモデルのAUC は0.812 となり，提案手法による推定値が，ランダムサンプリングより近い値となることを確認した
また，提案手法と真のモデルのロジスティック回帰の回帰係数を比較すると，上位3 位までが同じ特徴量であることを確
認した
回帰係数
X02 0.20990
X05 0.08199
X15 0.06887
X40 0.05490
X01 0.04994
X28 0.04326
X90 0.03833
X77 0.03618
回帰係数
X02 0.555638
X05 0.255425
X15 0.176619
X32 0.172987
X42 0.147251
X09 0.100597
X71 0.098413
X03 0.074788
提案手法 真のモデル
上位３位までが
同じ特徴量
AUC
提案手法 ランダムサンプリング
真のモデル精度

15. © 2022 NTT DATA Corporation 15
まとめ

16. © 2022 NTT DATA Corporation 16
本研究の目的
少量の目標ドメインのサンプルをもとに，真のサンプルを大量に用いた場合の分類器の精度を推定すること
結論
今回の検証データセットでは，目標ドメインの近傍データを使用することは分類器の精度推定に有効であることが
確認できた
今後の課題
今後は本手法の妥当性を確認するため，様々なデータセット，およびタスクを用いた実験を実施する必要がある
まとめ
・提案手法と真のモデルのロジスティック回帰の回帰係数は，上位3位までが同じ特徴量となった
そのため，提案手法のモデルは，大局的な振る舞いが似ているとの解釈が可能であり，
一定の説明力を備えている
・提案手法によるモデルは，ランダムサンプリングのモデルより，真のモデルに近い精度になることを確認した

17. © 2022 NTT DATA Corporation