場所参照表現タグ付きコーパスの構築と評価 @ 情報処理学会自然言語処理研究会

1. 場所参照表現タグ付きコーパスの
構築と評価
松⽥田 耕史*, 佐々⽊木 彬*, 岡崎 直観†*, 乾 健太郎郎*
*) 東北北⼤大学, †) 科学技術振興機構 さきがけ
第220回 情報処理理学会 ⾃自然⾔言語処理理研究会(NL)
九州⼤大学医学部 百年年講堂
2015/01/20
1

2. 実世界とつながる⾃自然⾔言語処理理
• テキスト情報が「いつの(時間)・どこについての(場所)」もの
であるかを解析し，集約したい
– 本発表では特にSNS(Twitter)のテキストに含まれる「場所」に
フォーカス
• NLPと地理理情報処理理を融合したアプリケーションの例例
– 「状況の俯瞰的把握」に役⽴立立つ
J 特に災害対応において有⽤用であることが指摘されている[後藤ら,
2013]
L 場所情報の扱いについて詳細な検証はなされていない
Fig. DISAANA (NICT)
質問応答システムへの位置情報の統合
Fig. HotLocation Finder (東北大)
交通障害の一元把握 2

3. 「場所参照表現」とは
• テキスト中に出現する「特定の場所」を指し⽰示す表現
a) [地名]仙台ー東京の配送料料考えたら、⾮非効率率率的だよね。
b) [施設名(固有名詞)] 川崎駅から南武線に乗っていきます
c) [施設名(⼀一般名詞)] ⽩白⽯石駅の向かいのバス停で事故です
本研究のフォーカス
[対象] 名詞・もしくはその連続で表される表現すべて
[辞書] Web上のデータから構築した地名・施設名辞書(座標付き)
①エンティティへの対応づけを付与したコーパスを試作
②自動付与に向けた課題を整理
3
本研究の目的
場所参照表現を実際の座標(エンティティ)に対応付けるにあたって，
学習・評価に用いることのできるコーパスを作成する

4. 何が難しい？/何を付与すべき？
• ⽂文字列列のクラスに曖昧性が存在
a) 結局川崎 地名でご飯⾷食べることにした
b) 川崎 施設名からの南武線，２分遅れて発⾞車車しました
c) 川崎 ⼈人名ちゃんとツアーの相談
– 表現のクラスによってエンティティ付与の必要性/可
否が変わる → (主に)地名 / 施設名に絞って付与
• ⽂文字列列が指し⽰示すエンティティにも曖昧性
a) 結局川崎 地名 神奈奈川県？/宮城県？/福岡県？でご飯⾷食べることに
した
– 同じ名前のエンティティが複数存在 → ⽂文脈を考慮し
てエンティティとの対応を付与
– エンティティ辞書：Webから収集
4

5. 場所参照表現タグ付きコーパス
宮城県 ⽩白⽯石市，武家屋敷近くのバス停で
事故発⽣生．通⾏行行時は気をつけてください．
白石沢端バス停
北緯38.00 東経140.62
地名辞書 施設名辞書
人手で対応を付与
Web上のデータから辞書を構築
宮城県
北緯38.26 東経140.87
宮城県白石市
北緯38.00 東経140.62
武家屋敷
北緯38.00 東経140.62
宮城県 ⽩白⽯石市，武家屋敷近くのバス停で
事故発⽣生．通⾏行行時は気をつけてください．
宮城県 ⽩白⽯石市，武家屋敷近くのバス停で
事故発⽣生．通⾏行行時は気をつけてください．SNSからサンプリング 5

6. 場所参照表現タグ付きコーパスの
構築と評価
辞書構築
パイロット
アノテーション
本アノテーション
アノテーション
付与プロセスの
評価
コーパス自体の
評価
アノテーター間一致度・
エンティティが付与でき
た割合
コーパス構築 評価
アノテーション
ガイドライン
エンティティ
辞書
アノテーション
ツール
エンティティ
タグ付きコーパス
解析器開発に
向けた方針/課題
辞書・ガイドラ
インの課題
自動付与に必要な
手がかりの整理・定量化
タスク定義・フォーカスの決定Web上の住所録・
オープンデータから
6

7. 場所参照表現タグ付きコーパスの
構築と評価
辞書構築
パイロット
アノテーション
本アノテーション
アノテーション
付与プロセスの
評価
コーパス自体の
評価
コーパス構築 評価
アノテーション
ガイドライン
エンティティ
辞書
アノテーション
ツール
エンティティ
タグ付きコーパス
解析器開発に
向けた方針/課題
辞書・ガイドラ
インの課題
タスク定義・フォーカスの決定
7

8. 付与する表現の範囲（フォーカス）
• どのような表現にタグを付与するか
– 関根の拡張固有表現階層[関根, 2004], 拡張固有表現タグ付き
コーパス[橋本ら, 2008]をベースに議論論
– 「特定の場所」を指している表現を地名・施設名に分類してア
ノテーション
– ただし「固有表現」に限らない(⼀一般名詞で場所を指しているも
のにも付与)
a) ⽩白⽯石駅の向かいのバス停で事故です
• エンティティ辞書としてどのようなものを⽤用いるか
– Web上のデータベースから辞書を構築
辞書種別 情報源 エントリ数
地名 街区レベル位置参照情報 約15万
施設名 Yahoo!ロコ(電話帳+CGM) 約500万※
8※ 曖昧性が極度に高いエントリ等をルールで除いている

9. アノテーションで付与する情報
1. Mention Detection: 表現が「特定の場所」を指し⽰示しているか
a) ⼤大阪、川崎 地名、新宿とかなり濃くてハードな3⽇日間をすごしました
b) 川崎 施設名から南武線で⽴立立川まで⾏行行きました。
2. Entity Resolution :それが読み⼿手(第三者)にわかるとすればどこか
a) ⼤大阪、川崎 地名/神奈奈川県川崎市、新宿と濃くてハードな3⽇日間をすごしました
b) 川崎 施設名/JR川崎駅から南武線で⽴立立川まで⾏行行きました。
c) 職場 施設名/特定不不能でクリスマスパーティー！
①Mention Detection
該当する表現に固有表現タグを付与
②Entity Resolution
表現にエンティティを対応付け
ツイート
エンティ
ティ付与済
みツイート
9
Entity Linking(TAC KBP)のアノテーションマニュアルを参考に
策定

10. • NERのアノテーションに類似しているが，エンティティの対
応付け作業が必要
– 数百万エントリの辞書(柔軟な対話を⾏行行いたい)
• ブラウザ上で動作するアノテーションツールを作成
• アノテーション時に⽤用いる情報：
– ツイート本⽂文・プロフィール情報(最近のツイート)・必要に応じ
てウェブ検索索
10
全文検索エンジン
(地名 / 施設名辞書)
アノテーション
結果DB
ツイートDB
ウェブブラウザ
ツイート
表示UI
辞書対話UI
対話的に問い合わせ
アノテーションツールの作成

11. アノテーションツール
（デモムービー）
11

12. パイロットアノテーションで
浮かび上がった問題の例例
• 施設名・組織名の区別に関する問題
a) これから復復興庁に⾏行行ってきます！
b) 復復興庁の〇〇さんに挨拶してきます！
⇒ ⽂文脈から判断「場所としての側⾯面」に着⽬目されている場合は
施設名とマークし，エンティティを付与
• 省省略略表現/別表記等の取り扱い
a) 東京D 施設名/東京ドームのチケット取れなかった〜～
⇒ 著者がどのエンティティを想定しているか推測
• 特定のエンティティを指していない表現(総称表現)の
取り扱い
a) コンビニ のおでんあんまり⾷食べたことない
b) スタバとかの⼥女女性店員って茶茶髪ボブな気がする
⇒ 専⽤用のタグを⽤用意
12

13. 実コーパスに対する
アノテーション付与
• Twitterからサンプリングした⼆二つのサブコーパス(各
1000ツイート)に対してアノテーション
– フィルタードサブコーパス
• 地名辞書を⽤用いて，地名が含まれやすくなるようフィルタ
• 表現の分布にはバイアスがかかるおそれがある，ガイドライン
策定の効率率率化を図ることが主⽬目的
– ランダムサンプリングサブコーパス
• Bot避けフィルタのみ適⽤用
• ただし，場所参照表現の出現頻度度が低い
• アノテーターが⽤用いる情報
– ツイート本⽂文 / 著者プロフィール(最近のツイート) / 必要
に応じてツイート内のキーワードでウェブ検索索
• 1000ツイートのアノテーションに必要だった時間
– フィルタード：約10時間／ランダム：約5時間
13

14. 場所参照表現タグ付きコーパスの
構築と評価
辞書構築
パイロット
アノテーション
本アノテーション
アノテーション
付与プロセスの
評価
コーパス自体の
評価
コーパス構築 評価
アノテーション
ガイドライン
エンティティ
辞書
アノテーション
ツール
エンティティ
タグ付きコーパス
解析器開発に
向けた方針/課題
辞書・ガイドラ
インの課題
タスク定義・フォーカスの決定
14

15. アノテーション付与プロセスの
評価 (1) エンティティ付与率率率
• 各サブコーパスに付与されたタグの分布
フィルタード(1000
ツイート)
ランダム(1000ツ
イート)
総数 En付与 総数 En付与
LOC(地名) 977 901(92%) 36 29(80%)
FAC(施設名) 356 286(80%) 88 32(36%)
RAIL(鉄道路線名) 61 2
ROAD(道路名) 7 1
J施設名を考慮することでより多くの表現に場所情報を付与できた
ランダムサンプリングにおいては2倍程度のエンティティ
→ 施設名を考慮することは有益
Lランダムサンプリングの施設名はエンティティ付与が難しい
→原因を調査
15

16. エンティティが第三者に識別できるか
YES NO
なにも付与しない
Entity Resolution
エンティティが
付与できない事例例の要因(1/2)
16
文字列が「特定の場所」を指しているか（地名・施設名か）
YES
エンティティを付与
NO
①特定の場所を指してはいるが，
何処か第三者には分からない
②特定の場所を指してはいるが，
辞書から漏れている
エンティティ辞書に存在するか
NOYES
Mention Detection
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
② ①エンティティ付与7000ツイート※
から得られた施設名389件
※原稿提出後引き続きアノテーションした結果得られたデータ

17. エンティティが
付与できない事例例の要因(2/2)
• 要因1 特定の場所を指していることは確実だが，⽂文脈
から決定することができない(施設名で顕著)
a) 保養所 施設名についてお⾵風呂呂に⼊入ってまったり。
b) ⺟母校 施設名での講義と⼥女女⼦子会、楽しかった。
地名の例例）「某国」「地元」など
アノテーターが⽤用いるコンテキスト情報を
• 要因2 エンティティが辞書から漏漏れている
a) 千代⽥田区のレンタサイクル和泉公園 施設名で返却できず
b) ボストン 地名の秋は深まるのが速い
– エンティティ辞書の底本が電話帳であることに起因
外国の地名は⼀一切切含まない．公園／観光地等も⼀一部含まれ
ているが，カバレッジ低
→ 他のリソースの併⽤用を検討
付与できなかっ
た事例の約90%
付与できなかっ
た事例の約10%
17

18. クラス F値
LOC(地名) 93.3
FAC(施設名) 77.9
ORG(組織名) 83.3
RAIL(路線名) 72.0
ROAD(道路名) 50.0
①言及検出(NER)の評価
J頻度の多いクラスは８割程度一致
L組織名 施設名の区別が若干難しい
(参考) Cohen’s κ=0.892
②エンティティ付与の評価
誤差距離(m)
平均 1648
中央値 0
最大値 72101
J80%以上の表現に同じエンティティが
付与できていた
(参考)辞書は合計で約515万エントリ
アノテーション付与プロセスの
評価(2) アノテーター間⼀一致度度
• 200ツイートに2名で独⽴立立に付与
→ 揺れる事例について調査
18

19. アノテーションが揺れる事例例
• 表現に対する解釈の揺れ
a) ⼤大学図書館 施設？組織？から取り寄せた資料料
b) ⽯石巻 付与する？焼きそばのブースにて待機中。
• エンティティの揺れ
a) 江坂周辺、淡路路 兵庫県淡路路市？⼤大阪市東淀川区の淡路路駅？ 周辺、⻄西中島南
⽅方周辺、 新⼤大阪周辺でバイト⾒見見つけたい
b) 福島 福島第⼀一原⼦子⼒力力発電所？福島県福島市？の事故で⾵風評被害じゃない
んだよ。
• アノテーターの事前知識識や推論論の軽重によるところが⼤大
– コントロールしにくい要因
– ⽤用いる情報や，推論論にかける時間に⽬目安を設けるべき
19

20. 場所参照表現タグ付きコーパスの
構築と評価
辞書構築
パイロット
アノテーション
本アノテーション
アノテーション
付与プロセスの
評価
コーパス自体の
評価
コーパス構築 評価
アノテーション
ガイドライン
エンティティ
辞書
アノテーション
ツール
エンティティ
タグ付きコーパス
解析器開発に
向けた方針/課題
辞書・ガイドラ
インの課題
タスク定義・フォーカスの決定
20

21. 曖昧性解消に必要な知識識の整理理
• 200ツイートから得られたエンティティ
250件を⼈人⼿手でチェック
– 表現のクラス(地名/施設名)およびその境界は
既知と仮定
てがかり 地名 施設名 合計
曖昧性なし 20(11%) 13(18%) 33(15%)
エンティティの人口 126(71%) 0(0%) 126(50%)
近隣に出現する表現の座標 20(11%) 7(10%) 27(10%)
細分化された固有表現クラス 0(0%) 21(29%) 21(8%)
略語表記の原語推定 3(2%) 21(29%) 24(10%)
世界知識を用いた推論 10(6%) 17(23%) 27(11%)
共参照関係から推論 1(0.5%) 4(6%) 5(2%) 21

22. 曖昧性解消に必要な知識識の整理理
• 地名：⼈人⼝口データを⽤用いることで7〜～8割程度度は曖昧性解消が可能
（ベースラインとして有望）
• 施設名：
– 施設名のサブクラス (例例: 駅であるか否か) の推定（3割程度度）
– 略略語・別表記への対処 等が必要（3割程度度）
• 周辺に出現する表現が指し⽰示すエンティティの情報も有効(1割程度度)
てがかり 地名 施設名 合計
曖昧性なし 20(11%) 13(18%) 33(15%)
エンティティの人口 126(71%) 0(0%) 126(50%)
周辺に出現する表現の座標 20(11%) 7(10%) 27(10%)
細分化された固有表現クラス 0(0%) 21(29%) 21(8%)
略語表記の原語推定 3(2%) 21(29%) 24(10%)
世界知識を用いた推論 10(6%) 17(23%) 27(11%)
共参照関係から推論 1(0.5%) 4(6%) 5(2%)
22

23. 曖昧性解消に必要な知識識の整理理
• 周辺に出現する表現によって決まる例例
a) 松前 愛媛県/北北海道もええとこやけど、松⼭山 宮城県/⼭山
形県/愛媛県には思い出が
b) 甲⼭山寺 ⾹香川県善通寺市と屋島寺 ⾹香川県⾼高松市で憑かれ
たんじゃないか (前後でお遍路路について⾔言及)
• より細分化された固有表現に関する情報
があれば解決可能な例例
a) 宇和海２３号宇和島 宇和島駅⾏行行に乗り換え。
23

24. まとめ
• テキスト中の場所参照表現に対して座標情報を含む具体的なエン
ティティ情報を付与したコーパスを試作
– ドメイン: SNS(Twitter)，エンティティ辞書 : Webデータから⾃自動⽣生成
– 施設名も辞書を⽤用意して付与：地名のみの場合に⽐比べて2倍程度度のエンティティ
• アノテーション⽅方法に対する評価
– アノテーター間の⼀一致度度は⾼高く，安定したアノテーションが⾏行行えてい
るが，⼀一部に問題が残されている
1. 「具体的な場所を想定しているか」に関する判断に揺れが⽣生じる例例
がある
2. より安定したアノテーションのためにはエンティティ付与時の事前
知識識・推論論の軽重に⽬目安を設ける必要がある
• 作成したコーパスを元に⾃自動付与に向けた⽅方針・技術的課題を考察
1. 地名：エンティティのポピュラリティ(⼈人⼝口)がベースラインとして有
望
2. 施設名：エンティティの種別（駅であるか，店舗であるかなど）に関
するより詳細な分類が必要
24

25. 今後の課題
• 数万ツイート規模を⽬目指しコーパスを拡充
– 現在，8000ツイート程度度
• ⼀一般提供に向けたデータ整備
– エンティティ辞書の権利利関係の解決
• 解析器の開発と性能調査
25

26. 場所参照表現タグ付きコーパス
宮城県 ⽩白⽯石市，武家屋敷近くのバス停で
事故発⽣生．通⾏行行時は気をつけてください．
白石沢端バス停
北緯38.00 東経140.62
地名辞書 施設名辞書
人手で対応を付与
Web上のデータから辞書を構築
宮城県
北緯38.26 東経140.87
宮城県白石市
北緯38.00 東経140.62
武家屋敷
北緯38.00 東経140.62
宮城県 ⽩白⽯石市，武家屋敷近くのバス停で
事故発⽣生．通⾏行行時は気をつけてください．
宮城県 ⽩白⽯石市，武家屋敷近くのバス停で
事故発⽣生．通⾏行行時は気をつけてください．SNSからサンプリング 26

27. 27

28. 関連するコーパス
• TR-CoNLLコーパス(英語) [Leidnerら，2007]
– CoNLL-2003共通タスク(固有表現抽出)で提供さ
れたデータにエンティティ情報を付与
– ☹テキストのドメイン:ニュース記事のみ
– ☹付与の対象:地名のみ
• CWarコーパス(英語)[Crane, 2000]
– 南北北戦争時代の書籍340冊に現れる地名に対して
エンティティ情報を付与
– ☹テキストのドメイン:特殊(19世紀アメリカの書
籍)
日本語では存在しない，施設名まで付与している
ものは他の言語でも存在しない 28

29. TR-CoNLL / CWar / LGL
#doc #token #toponym domain
[EN] TR-CoNLL
(Leidner 2008)
1000 200000 6000 Reuter’s
International
News
CoNLL200
3(NER)の
データに手
動付与
[EN] CWar
(Crane 2000)
(Speriosu 2013)
341 58mil 232000 OCR’ed Books
(About US Civil
War)
OCR+自動
NER+半自
動付与？
[EN] LGL
(Lieberman 2010)
588 213000 5088 News Articles
(Localized
news sources)
サンプリン
グ対象が
「地方紙」
[JA] 作成中のコーパ
ス
1000
(拡充中)
約3万文字 36(地名)/
88(施設名)
SNS(Twitter)
29

30. アノテーション付与⽀支援ツール
ツイート表示 データベース検索
①マウスで文字列を選択
②DBからエンティティを検索
③NEのラベルを付与
30

31. ⼀一般名詞から成る場所参照表現
（エンティティが付与できた例例）
a) 今⽇日は上野動物園に⾏行行って浅草花やしきに⾏行行く(中略略)
動物園 上野動物園出たとこで猫が枯葉葉をベッドにしてい
て
→照応関係が成り⽴立立つ例例
b) 釧路路の市場 釧路路和商市場で買ってきた鮭の燻製をはみは
みしながら
→釧路路の「市場」は唯⼀一に定まる例例
c) 学校 とある⾼高校(プロフィール欄に記載)⾏行行かなくていい気がして
きた
→今回⽤用いたコンテキスト情報から分かる例例
d) 今週末はTDLと御殿場のアウトレット 御殿場プレミアムアウ
トレットに⾏行行く予定
→略略表現か
31
一般名詞にエンティティが付与できる例はあまり多くないが，
研究課題として面白い問題がありそう

32. 書き⼿手，読み⼿手，
第三者（アノテーター）の関係
• SNSのテキストは，書き⼿手のコンテキストに強く
依存
– 書き⼿手と読み⼿手の間に共通する「⼟土地勘」があるは
ず
– ニュース等ではあまり問題にならない
• 第三者（アノテーター）が付与する解釈（エン
ティティ）にどの程度度妥当性があるか調べてみた
い
– 宮城県在住のアノテーターが，宮城県在住のTwitter
ユーザーのツイートにアノテーション
→ ⾼高アグリーメント
– 宮城県在住のアノテーターが，福岡県在住のTwitter
ユーザーのツイートにアノテーション
→ 低アグリーメント？
32