第222回自然言語処理研究発表会 (SIG-NL)

1. 職業ごとの行動に関する
知識の収集
馬緤美穂, 笹野遼平, 高村大也, 奥村学 (東工大)

2. 目的: 職業について知る
•職業について「何をしているか」という知識:
マーケティングやジョブマッチングに有用
•すぐに思いつくような知識に加え、すぐには
思いつかないような知識も収集したい
2
将来「医者」になりたい
でも、「医者」ってどんな
ことをしているのかな？
「医者」は
「手術をする」
「患者を診る」
職業です
「医者」は
「論文を書く」
こともあります

3. 2つの手法で行動を収集する
3
職業が主体の行動に着目 個人の行動に着目
・薬剤師が薬を調剤する
・薬剤師が薬局に常駐する
「薬剤師」が主体として現れるテキスト
ソーシャルメディア上の「薬剤師」に
よる投稿
雨の中、学会に
行ってきた
昨日も勉強会
に行きました

4. 関連研究
• Webから人間の属性について知識を獲得
⁃年齢, 性別など様々な属性について存在 [Inui 2008, Sap
2014, Bergsma 2014]
⁃多くは属性に関連する単語を獲得
• 本研究: 行動という単位で知識獲得
4
患者を診察する 患者を看護する
患者
医者 看護師
行動に着目
→ より関係性が明確な
知識が獲得可能

5. 提案手法
5
入力
「医者」について
知りたい
ソーシャルメディア
「医者」は
「患者を診る」
「論文を出す」
職業です
出力
「医者」は
「患者を診る」
「診断を下す」
職業です
出力
東京の医者。
内科の医者
です
① 職業と紐付けられた
ユーザを収集
家で寝る: 1000
患者を診る: 60
職業と関連付いていない
行動 (ソーシャルメディア)
患者を診る: 60
海外に行く: 100
職業と関連付いていない
行動 (Webテキスト)
頻度の
比較
頻度の比較
医者が患者を診る:
50
医者が海外に行く:
40
医者が診断を下す:
60
職業と関係する行動の
候補
患者を診る: 50
家で寝る: 40
論文を出す: 60
② ユーザによる行動の収集
職業と関係する行動の候補
手法A: 職業が主体として明示された
行動からの獲得
手法B: 職業に紐付けられた個人の
行動からの獲得
Webテキスト

6. 手法A: 職業が主体として明示
されたテキストから行動を獲得
• Webテキストから、職業が主体として明示(=ガ格
に表現)された行動を述語項ペアとして収集
• 職業と関連付けていない場合の頻度と比較
6
医者が病院で患者を診る。
医者が海外に行く。
患者を診る: 50
病院で診る: 40
海外に行く: 5
患者を診る: 50
診断を下す: 40
海外に行く: 5
患者を診る: 60
診断を下す: 50
海外に行く: 4000
医者の行動一覧 医者に限定しない場合の頻度

7. 比較指標: カイ二乗値
• 「職業と行動が独立である」とした場合に行動が出現する
頻度の期待値と比べ、実際の行動の頻度がどれだけ大きいか
7
医者 医者ではない
患者を診る 50 ( ) 10 ( )
患者を診る以外 500 ( ) 5000 ( )
期待値
カイ二乗値
E1, 1 =
(50 + 10) * (50 + 500)
(50 + 10 + 500 + 5000)
頻度全体に占める
「医者」の割合
= 5.93
N1,1 N0,1
N1,0
N0,0
「患者を診る」の全頻度

8. 提案手法
8
入力
「医者」について
知りたい
ソーシャルメディア
「医者」は
「患者を診る」
「論文を出す」
職業です
出力
「医者」は
「患者を診る」
「診断を下す」
職業です
出力
東京の医者。
内科の医者
です
① 職業と紐付けられた
ユーザを収集
家で寝る: 1000
患者を診る: 60
職業と関連付いていない
行動 (ソーシャルメディア)
患者を診る: 60
海外に行く: 100
職業と関連付いていない
行動 (Webテキスト)
頻度の
比較
頻度の比較
医者が患者を診る:
50
医者が海外に行く:
40
医者が診断を下す:
60
職業と関係する行動の
候補
患者を診る: 50
家で寝る: 40
論文を出す: 60
② ユーザによる行動の収集
職業と関係する行動の候補
手法A: 職業が主体として明示された
行動からの獲得
手法B: 職業に紐付けられた個人の
行動からの獲得
Webテキスト

9. ① 職業と紐付けられたユーザの収集
• ソーシャルメディア中でユーザが記載した
プロフィール情報を参照
• 「対象の職業を持つ可能性が高い」と判断できる
ユーザをルールベースで収集
9
東京在住。作家です
看護師。趣味はピアノ！
父は医者です。
夢は公務員。
元アナウンサーです
医者です。ニュース配信中
好きな歌手 YUI!
東京の医者。
内科の医者
です
都内在住の
看護師です。
今回は夜勤を
なんとか乗り越え
ました！
昨日はずっと雨
だったけど、病棟
にいたから気付か
なかった
夜勤は少し疲れた
…
プロフィール
ユーザの投稿

10. ② ユーザ自身による行動の収集
•①で紐付けられたユーザの投稿から、
ルールベースでユーザ自身の行動を抽出
10
最近ずっと家で寝てる
やっと論文を提出しました
明日は学会に行きたい
彼が学会に行ってきた。
先生に怒られた
走ってきた犬を撫でた
職業が紐付けられた
ユーザ集団
患者を診る: 50
家で寝る: 40
ご飯を食べる: 60
学会に行く: 40
都内在住の
看護師です。
今回は夜勤を
なんとか乗り越え
ました！
昨日はずっと雨
だったけど、病棟
にいたから気付か
なかった
夜勤は少し疲れた
…
プロフィール
ユーザの投稿

11. •手法Aと同様に、カイ二乗値に基づいて
職業と関連付けていない場合の行動の
頻度と比較
11
患者を診る: 60
家で寝る: 1000
ご飯を食べる: 1500
学会に行く: 50
職業と関連付いていない場合の
それぞれの行動の頻度
② ユーザ自身による行動の収集
患者を診る: 50
家で寝る: 40
ご飯を食べる: 60
学会に行く: 40

12. 実験
1. 実験設定
2. 評価1:ユーザと職業の紐付け精度
(手法B)
3. 評価2: 2手法で獲得された知識の精度
(手法A&B)
4. 2手法の比較
12

13. 実験設定
•28職業に手法A, Bを適用
•使用データ
⁃手法A: 約65億の述語項構造から構成されるデータ
⁃手法B: 2013年のTwitterストリーミングデータ
13
アナウンサー シェフ 栄養士 警備員 弁護士 薬剤師 駅員
作家 カウンセラー 医者 美容師 音楽家 パイロット 教師
カメラマン 学芸員 編集者 保育士 看護師 公務員 劇団員
大工 探偵 エンジニア 主婦 画家 歌手 記者
・見る 少女:ヲ格 公園:デ格
・診る 医者:ガ格 患者:ヲ格 病院:デ格

14. 評価1: ユーザと職業の
紐付け精度
• 職業ごとに(最大)100人について
「紐付けられた職業とプロフィールが一致しているか」2人が評価
14
0.0%
50.0%
100.0%
主婦
編集者
記者
エンジニア
薬剤師
カウンセラー
音楽家
学芸員
弁護士
看護師
劇団員
画家
カメラマン
美容師
栄養士
保育士
公務員
作家
教師
アナウンサー
駅員
シェフ
歌手
医者
大工
警備員
パイロット
探偵
紐付け精度
平均：75.6%
精度80%以上：17/28職業
…収集人数が100人以下
学芸員, 駅員, 探偵
ソーシャルメディア上で職業を
明示するユーザがほぼ存在しない
ノイズを単純な方法では
除去できない
・YUIは世界一の歌手です (ファン)
・護送船パイロット。ポラード星人を
・追って地球に。 (架空の人物)
・農二2年 サッカー部 部室警備員
(その職業ではない)

15. 評価2: 2種類の手法で獲得
された知識の精度
•評価対象: 200件以上知識(述語項ペア)が
獲得された職業・手法
15
アナウンサー シェフ 栄養士 警備員 弁護士 薬剤師 駅員
作家 カウンセラー 医者 美容師 音楽家 パイロット 教師
カメラマン 学芸員 編集者 保育士 看護師 公務員 劇団員
大工 探偵 エンジニア 主婦 画家 歌手 記者
赤字…手法A, Bで評価 (13職業) 青字…手法Bで評価 (11職業)
黒字…評価の対象外 (4職業)

16. • 獲得できた知識の上位100件をクラウドソーシング
サービス「ランサーズ」でアンケート評価
• 評価した100件中、正しく (1+2) 獲得できていた
知識の精度を分析
16
問題文と職業の関係について、どう思いますか？
（１）その職業の人が取る行動としてすぐに思いつく
（２）その職業の人が取る行動としてはすぐに思いつかないが、
その職業の人はこの行動を他の職業の人よりも取っていそうだ
（３）その職業の人にとって一般的な行動だとは思わない
文「目の前で調理する」 職業「シェフ」
評価2: 2種類の手法で獲得
された知識の精度

17. 評価結果: 手法A
17
0
200
400
600
800
1000
教師
弁護士
記者
作家
看護師
シェフ
アナウンサー
カメラマン
カウンセラー
主婦
医者
歌手
エンジニア
大工
警備員
栄養士
薬剤師
駅員
探偵
パイロット
美容師
保育士
画家
公務員
編集者
学芸員
音楽家
劇団員
獲
得
数
行動の獲得数
職業名が主体として明示
されることが少ない
劇団員

18. 評価結果: 手法A
18
0
20
40
60
80
100
教師
弁護士
記者
作家
看護師
シェフ
アナウンサー
カメラマン
カウンセラー
主婦
医者
歌手
エンジニア
大工
警備員
栄養士
薬剤師
駅員
探偵
パイロット
美容師
保育士
画家
公務員
編集者
学芸員
音楽家
劇団員
精
度
（
％
）
手法Aの精度
コスプレにチャレンジする
FXで稼ぐ
主婦
Web上の広告で言及されやすい
傾向: 50%以上の精度で
行動を獲得

19. 評価結果: 手法B
• 評価した24職業 : 職業の紐付け精度と行動の獲得精度に
は相関(r=0.55)が見られた
19
0
20
40
60
80
100
主婦
編集者
記者
エンジニア
薬剤師
カウンセ…
音楽家
看護師
弁護士
劇団員
画家
カメラマン
美容師
栄養士
保育士
公務員
作家
教師
アナウン…
シェフ
歌手
医者
大工
警備員
精
度
（
%
）
手法Bの精度
← 紐付け精度が高い 紐付け精度が低い →
悩みを打ち明ける
栄養士
主観的な内容が多い
今日は○○ホールで
歌わせて頂きます！
歌手
自身の活動について
積極的に投稿

20. 2手法の比較
20
0
20
40
60
80
100
アナウンサー
作家
カメラマン
シェフ
カウンセラー
医者
エンジニア
主婦
弁護士
看護師
歌手
教師
記者
手法Bの精度
0
20
40
60
80
100
アナウンサー
作家
カメラマン
シェフ
カウンセラー
医者
エンジニア
主婦
弁護士
看護師
歌手
教師
記者
手法Aの精度
…すぐに思いつく行動 …すぐには思いつかない行動

21. 0
20
40
60
80
100
ー
家
ン
フ
ー
者
ア
婦
士
師
手
師
者
手法Bの精度
比較: 全体
21
手
法
Ａ
(
平
均
:
5
8
.
5
)
手法Ｂ (平均: 58.3)
0
20
40
60
80
100
アナウンサー
作家
カメラマン
シェフ
カウンセラー
医者
エンジニア
主婦
弁護士
看護師
歌手
教師
記者
手法Aの精度
…すぐに思いつく行動 …すぐには思いつかない行動
全体の精度
手法Bが
得意
手法Aが
得意
同等の性能
少なくとも一方で
50%以上

22. 0
20
40
60
80
100
ー
家
ン
フ
ー
者
ア
婦
士
師
手
師
者
手法Bの精度
比較: すぐに思いつく行動
22
0
20
40
60
80
100
アナウンサー
作家
カメラマン
シェフ
カウンセラー
医者
エンジニア
主婦
弁護士
看護師
歌手
教師
記者
手法Aの精度
…すぐに思いつく行動 …すぐには思いつかない行動
すぐに思いつく行動の精度
手法Aを用いた方が
収集されやすい傾向
手
法
Ａ
手法Ｂ

23. 0
20
40
60
80
100
ー
家
ン
フ
ー
者
ア
婦
士
師
手
師
者
手法Bの精度
比較: すぐには思いつかない行動
23
0
20
40
60
80
100
アナウンサー
作家
カメラマン
シェフ
カウンセラー
医者
エンジニア
主婦
弁護士
看護師
歌手
教師
記者
手法Aの精度
…すぐに思いつく行動 …すぐには思いつかない行動
手
法
Ａ
手法Ｂ
すぐには思いつかない
行動の精度
手法Bを用いた方が
収集されやすい傾向

24. 考察
• 手法によって、収集できる行動の性質には差がある
• 手法ごとの視点の違い
⁃手法A…職業が主体として明示されている
→ 第三者が客観的に見た行動
⁃手法B…ソーシャルメディア中の個人の経験
→ 第三者からは見えにくい、個人の行動
24
相談を受け付ける
パートナーに就任する
弁護団を結成する
弁護を担当する
手法Aで獲得された行動 手法Bで獲得された行動
書面を書く
書面を作成する
事務所に出る
判決文を読む
弁護士の行動
第三者から見た行動 本人視点の行動

25. まとめ
•2つの手法で職業に関する行動を収集
⁃ 職業が主体として明示されたテキストから収集 (手法A)
⁃ ソーシャルメディア上のユーザから収集 (手法B)
•結果: 同等の精度で行動が獲得できた
25
• 職業が主体となる行動を収集
• 個人の行動に着目して収集
学会に行く
勉強会に行く
薬を調剤する
薬局に常駐する
薬剤師の行動
・薬剤師が薬を調剤する
・薬剤師が薬局に常駐する
雨の中、学会に
行ってきた
昨日も勉強会
に行きました
すぐには思いつかないが
その職業でしている人は
多い
すぐに思いつく

26. 補足：Twitterデータの使用方法
• 使用したAPI: gardenhose
⁃ 最近までツイートデータのクロール用に提供されていたAPI
⁃ 言語判定器1で「日本語」と判定されたツイートを収集（毎時
間5万~40万ツイート程度）
⁃ 確実に日本語を収集するため「ひらがな2文字以上」が連続し
ているツイートをしているユーザの投稿を利用
• データの加工方法
⁃ ＠(ユーザ名) や顔文字、記号は除去
⁃ 次の条件に合致するツイートは使用しない
URLやハッシュタグ(特定のトピックを示す)を含む
RT(リツイート、他者のツイートの引用)
26
1. LanguageGuesser (Lingua)
http://gensen.dl.itc.u-tokyo.ac.jp/LanguageGuesser/LanguageGuesser_ja.html

27. 補足：ユーザの紐付けにおける
ルールの詳細
• 対象の職業を含み、かつ以下の条件を全て満たす
⁃その直前が「元」でない
⁃直後が判定詞「です」、句点「。」、空白、または
行末である
• 以下の条件を満たさない
⁃「父」「母」「姉」などの家族を表す語を含まない
⁃「夢」「趣味」を含まない
⁃「ニュース」「bot」などの単語をプロフィールに
含まない
⁃「学生」「主婦」をプロフィールに含まない
27

28. 補足: ユーザの紐付けにおける
ノイズの例
•ノイズ: プロフィール中で職業名を記載して
いるが、実際にはその職業ではないパターン
•ノイズが複雑すぎて単純な方法では除去できな
い職業
28
野球観戦 / 映画・DVD鑑賞 / アナウンサー (ファン)
YUIは世界一の歌手です (ファン)
護送船パイロット。ポラード星人を追って地球に。 (架空の人物)
農二2年 サッカー部 部室警備員 (職業ではない)
鳥大工3年 (別の単語)

29. 補足：28職業の選定基準
•以下の基準を満たす職業から28職業を選
定
⁃次の職業関係の情報を表すWebサイトに掲載
されている
13歳のハローワーク
Wikipedia の「職業一覧」
⁃65億個の述語項構造データに10,000回以上
出現している
⁃JUMAN辞書において主辞形態素にカテゴリ
「人」が付与されている
29

30. 補足：クラウドソーシングの質問文
30

31. 補足：クラウドソーシングに
おける品質管理方法
•クラウドソーシングは一般人が作業に
従事するため、次のように品質を管理
1. 品質管理問題の導入
⁃50問作業させるごとに2問容易な問題を設
け、どちらも正解したユーザの作業のみを使
用
2. 複数人によるタグ付け
⁃同内容を5人がタグ付けし、複数人の判断を
合計することで判断の揺れを吸収
31

32. 補足：評価結果の集計方法
•「すぐに思いつく」
•「すぐには思いつかないが、職業に関係
すると思える」
⁃各選択肢において、３人以上回答している
•全体的な性能
⁃「すぐに思いつく」または「すぐには思いつ
かないが、職業に関係すると思える」と４人
以上回答している
32

33. 補足：手法Bの精度における
エラー分析 (詳細)
• 行動が獲得できなかった職業
⁃ 探偵・駅員…職業と紐付けられたユーザがほとんど存在
しなかった
• 栄養士, カウンセラー
⁃ 投稿に主観的な内容の多い職業であるため、職業に関係
すると見られる行動がほとんど存在しなかった
エネルギーを感じる (カウンセラー)
悩みを打ち明ける (栄養士)
• 公務員
⁃ 守秘義務が存在するためか、投稿中にはほぼ職業に関係
する投稿が存在しない
33

34. 補足：勉強会に行く薬剤師の例
•明日も薬局勤務。今週は月〜木の4連勤。
久しぶりだわ。明日は弁当会…もとい、勉強会
です。アラミスト点鼻とザイザル錠。花粉症
コンビですね。
•今日は勉強会。弁当は梅の花らしい。内容は
今更ながらリバロらしい。
•ベタニスの勉強会でした。久しぶりに身になる
勉強会だった。
•リフレックスの勉強会でした。演者のMRが、
先生の質問に全然答えられなくて残念な感じ
だったな。
34
※ リバロ、ベタニス、リフレックス：いずれも薬の商品名
MR：製薬会社で営業を行う人間

35. 評価結果：すぐには
思いつかない行動の比較
•手法Bの方がすぐには思いつかない行動
を収集しやすい傾向
⁃並べ替え検定では
有意水準5%で有意差
•例：カメラマン
59
手
法
Ａ
手法Ｂ
写真をレタッチする
レンズを買う
写真展に行く
撮影会に行く