More Related Content
More from utsuro_lab
More from utsuro_lab (20)
Recently uploaded
Recently uploaded (15)
日中時系列ニュースにおけるトピックモデルの推定と二言語間対応の同定
- 1. 日中時系列ニュースにおけるトピックモデル の推定と二言語間対応の同定 研究紹介スライド 筑波大学 システム情報工学系 知能機能工学域 自然言語処理研究室（宇津呂研究室） 1
- 2. 研究の背景 • ウェブ上の世界を始めとして、膨大な情報が 溢れ、いわゆる情報爆発が起こっている • ある同一の話題に対して、日本と中国の両方 のニュースで報道される場合が多い • 日中両方で報道される話題において、日本と 中国では、話題についての関心度が異なる 2
- 3. ＩＭＦ特別顧問に中国人 トヨタ大規模リコール問題 チリ地震 民銀の朱民副総裁 チリに緊急援 日本 トヨタ社長、中国で陳謝 助を派遣する 茨城からの素粒子、 チリ地震による津波 岐阜での検出に成功 の影響および警戒 2010年2月25日 2010年2月26日 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日 ＩＭＦ特別顧問に中国人 トヨタ大規模リコール問題 チリ地震 民銀の朱民副総裁 チリ地震による 津波の警戒な 中国 し トヨタ社長、中国で陳謝 チリに緊急援助を ネット交流で温首相 派遣する 3 2010年2月25日 2010年2月26日 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日
- 4. 研究の目的 • 日中時系列ニュースにおけるトピックモデル の推定と二言語間対応の同定 4
- 5. 研究の位置付け • 日本語、または中国語片方のニュース記事 についての研究が盛んに行われている 「一週間の重大ニュース」、「ニュースtop10」・・・ • 日中両方のニュース記事についての研究が ほとんどない 5
- 6. 研究データ • 期間：2009年6月～2010年5月 - 日本語新聞社・・・読売、朝日、日経 記事数：157,945件 - 中国語新聞社・・・人民日報 記事数：204,595件 人民日報のニュースは中国語簡体字で書かれた 6
- 7. 提案手法流れのイメージ Wikipediaの言語間リンク 日本語ニュース 中国語ニュース （157,945件） （204,595件） 1. 日中対訳語組の集合
- 8. 提案手法流れのイメージ Wikipediaの言語間リンク 日本語ニュース 中国語ニュース （157,945件） （204,595件） 1. 日中対訳語組の集合 チリ 智利 死亡 漁業 ・・・ ・・・ 津波 海啸 圣地亚哥 死者 地震 地震 2. ニュース記事の日中対応の推定
- 9. 提案手法流れのイメージ Wikipediaの言語間リンク 日本語ニュース 中国語ニュース （157,945件） （204,595件） 1. 日中対訳語組の集合 チリ 智利 死亡 漁業 ・・・ ・・・ 死者 地震 津波 2. ニュース記事の日中対応の推定 海啸 圣地亚哥 地震 対応が付けられたニュース記事 を抽出して、部分集合を作る 日本語 中国語 ニュース ニュース 部分集合 部分集合 （791件） 3. トピックモデル（DTM）を適用して， （1,361件） 日中各言語のニュース記事におけるトピックの推定 2010- 2010- 2010- ・・・ 2010- 2010- 2010- ・・・ 2-25 2-26 2-27 2-25 2-26 2-27 トヨタ リコール ◯ ◯ ◯ トヨタ リコール ◯ ◯ ◯ チリ地震 ◯ ◯ チリ地震 ◯ ◯ 温首相がネ ットで交流 ◯
- 10. 提案手法流れのイメージ Wikipediaの言語間リンク 日本語ニュース 中国語ニュース （157,945件） （204,595件） 日中対訳語組の集合 チリ 智利 死亡 漁業 ・・・ 津波 ニュース記事の日中対応の推定 海啸 ・・・ 圣地亚哥 死者 地震 地震 対応が付けられたニュース記事 2010- 2010- 2010- ・・・ 2010- 2010- 2010- ・・・ を抽出して、部分集合を作る 2-25 2-26 2-27 2-25 2-26 2-27 日本語 トヨタ トピックモデル（DTM）を適用して， トヨタ ◯ ◯ ◯ 中国語 ニュース ◯ ◯ ◯ ニュース リコール 部分集合 日中各言語のニュース記事におけるトピックの推定 リコール チリ地震 部分集合 チリ地震 （791件） ◯ ◯ ◯ ◯ （1,361件） 温首相がネ ◯ 4. 日中の間でトピックの対応を推定 ットで交流 分類 話題 2010年2月 2010年3月 25日 26日 27日 28日 1日 2日 3日 トヨタリコール問題 ◯ ◯ ◯ 日中共通 トヨタが中国で謝罪 ◯ （正しいトピック対応） 日中共通、または◯ チリ地震 ◯ ◯ ◯ ◯ 中国語側からのみ 温首相がネットで片言語特有の 出力し、 誤りのトピック対応 交流 トピックが得られる◯ 10
- 11. 評価結果 • ニュース記事の日中対応 評価期間：2010年2月25日から、3月23日までの一ヶ月 - 一ヶ月のニュースデータ： 日本語記事数：12,288件 中国語記事数：22,049件 • トピックの日中対応 - ニュース記事の日中対応によって、対応が付けられたニュースデータ: 日本語記事数：791件 中国語記事数：1,361件 11
- 12. ニュース記事の日中対応の評価結果（％） 88.6 88.2 87.8 90 80 76.7 70 62.1 62.5 61.1 58.7 60 日付 53 54.8 日本語 54.7 中国語 50 2010年2月25日～ 63.2 43.5 53.3 40 日本語 2010年3月3日 40 （156/247） （194/364） 中国語 30 25.8 20 10 0 25 26 27 28 1 2 3 2010年2月25日～3月3日 12
- 13. 評価結果 • ニュース記事の日中対応 評価期間：2010年2月25日から、3月23日までの一ヶ月 - 一ヶ月のニュースデータ： 日本語記事数：12,288件 中国語記事数：22,049件 • トピックの日中対応 - ニュース記事の日中対応によって、対応が付けられたニュースデータ: 日本語記事数：791件 中国語記事数：1,361件 13
- 14. ＩＭＦ特別顧問に中国人 トヨタ大規模リコール問題 チリ地震 民銀の朱民副総裁 トヨタ社長、中国で陳謝 日本 日本経済についてのニュース 一ヶ月で、トピックの日中対応 日中方向トピックの対応の精度： 80%（4/5） 中日方向トピックの対応の精度：66.7%（4/6） ☓ 2010年2月25日 2010年2月26日 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日 ＩＭＦ特別顧問に中国人 トヨタ大規模リコール問題 チリ地震 民銀の朱民副総裁 中国 トヨタ社長、中国で陳謝 ネット交流で温首相 中国経済についてのニュース 14 2010年2月25日 2010年2月26日 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日
- 15. 誤り分析 日付 日本語 中国語 2010年2月25日 53.0 （26/49） 54.8 （40/73） ・ ・ ・ ・ 日本ニュース記事で 中国ニュース記事で経 ・ ・ ・ 経済 ・ 済 ・ ・ についてのニュースが についてのニュースが ・ ・ ・ 10件ぐらいある ・ 20件ぐらいある ・ ・ ・ ・ 15
- 16. ニュース記事の日中対応の評価結果（％） 日付 日本語 88.6 88.2 87.8 中国語 90 2010年2月25日～ 76.7 63.2 53.3 80 2010年3月3日 （156/247） （194/364） 70 62.162.5 61.1 誤り分析に属する 58.7 60 53 54.8 54.7 50 経済ニュースを除いた 43.5 40 40 日… 日付 日本語 中国語 30 25.8 2010年2月25日～ 88.1（24.9↑） 86.6（33.3↑） 20 2010年3月3日 10 （156/177） （194/224） 0 25 26 27 28 1 2 3 2010年2月25日～3月3日 16
- 17. ＩＭＦ特別顧問に中国人 トヨタ大規模リコール問題 チリ地震 民銀の朱民副総裁 トヨタ社長、中国で陳謝 日本 日本経済についてのニュース 一ヶ月で、トピックの日中対応 日中方向トピックの対応の精度：100%（4/4）（20%↑） 中日方向トピックの対応の精度： 80%（4/5）（13.3%↑） ☓ 2010年2月25日 2010年2月26日 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日 ＩＭＦ特別顧問に中国人 トヨタ大規模リコール問題 チリ地震 民銀の朱民副総裁 中国 トヨタ社長、中国で陳謝 ネット交流で温首相 中国経済についてのニュース 17 2010年2月25日 2010年2月26日 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日
- 18. 提案手法 1. Wikipediaの言語間リンクを用いたエントリ の日中対応抽出 2. ニュース記事の日中対応の推定 3. 日中各言語のニュース記事集合における トピックの推定 4. トピックの日中対応の推定 18
- 19. 提案手法 1. Wikipediaの言語間リンクを用いたエントリ の日中対応抽出 2. ニュース記事の日中対応の推定 3. 日中各言語のニュース記事集合における トピックの推定 4. トピックの日中対応の推定 19
- 20. Wikipediaの言語間リンクを用いたエントリの日中対応抽出 あるWikipediaエントリに対して、日本語エントリおよびこのエントリのリダイレクトと 対応する中国語エントリの簡体字リダイレクトによって、日中対訳語組を生成する 日本語エントリ： 中国 リダイレクト 漢土 唐国 ・ ・ ・ 唐土
- 21. Wikipediaの言語間リンクを用いたエントリの日中対応抽出 あるWikipediaエントリに対して、日本語エントリおよびこのエントリのリダイレクトと 対応する中国語エントリの簡体字リダイレクトによって、日中対訳語組を生成する 日本語エントリ： 日本語エントリに対応している中国語エントリ 繁体字 中国 中國 リダイレクト リダイレクト 簡体字 中国 漢土 神洲 唐国 ・ 中夏 ・ ・ 中国語の ・ ・ 簡体字 ニュース ・ 唐土 中華 21
- 22. Wikipediaの言語間リンクを用いたエントリの日中対応抽出 あるWikipediaエントリに対して、日本語エントリおよびこのエントリのリダイレクトと 対応する中国語エントリの簡体字リダイレクトによって、日中対訳語組を生成する 日本語エントリ： 日本語エントリに対応している中国語エントリ 繁体字 中国 中國 リダイレクト リダイレクト 日中対訳語組の集合 簡体字 日本語 中国語簡体字 中国 漢土 中国 中国 漢土 中国 神洲 唐国 唐国 中国 ・ 中夏 ・ ・ ・ ・ ・ ・ 中国語の ・ ・ ・ ・ 簡体字 ニュース 唐土 中国 ・ 唐土 中華 22
- 23. Wikipediaの言語間リンクを用いたエントリの日中対応抽出 • 2009年6月～2010年５月の一年間 ニュース記事中のWikipediaエントリ数: • 日本語：93,258個エントリ （内28,071個エントリに中国語へのリンクがある） • 中国語：94,164個エントリ （内28,127個エントリに日本語へのリンクがある） 言語間リンクがないエントリの例・・・ 「1区現象」、「2006年の日本」など 日中対訳語組数：78,519個 23
- 24. 提案手法 1. Wikipediaの言語間リンクを用いたエントリ の日中対応抽出 2. ニュース記事の日中対応の推定 3. 日中各言語のニュース記事集合における トピックの推定 4. トピックの日中対応の推定 24
- 25. ニュース記事の日中対応の推定 • 一日で、各日本語ニュースと中国語ニュースの間で、共有 される日中対訳語組数を求めて、10個以上の組数を持つ日本 語ニュースと中国語ニュースの組を同定 一つの日本語ニュース記事 一つの中国語ニュース記事 共有日中対訳語組数+1 チリ 智利 阪神大震災 圣地亚哥 地震 海啸 工作 津波 ・・・ ・・・ 死者 地震 群岛 太平洋 死亡 漁業 太平洋 25
- 26. ニュース記事の日中対応の推定 • 一日で、各日本語ニュースと中国語ニュースの間で、共有 される日中対訳語組数を求めて、10個以上の組数を持つ日本 語ニュースと中国語ニュースの組を同定 一つの日本語ニュース記事 一つの中国語ニュース記事 共有日中対訳語組数：5 チリ 智利 圣地亚哥 阪神大震災 地震 海啸 津波 工作 ・・・ 死者 ・・・ 地震 群岛 太平洋 死亡 漁業 太平洋 26
- 27. 提案手法 1. Wikipediaの言語間リンクを用いたエントリ の日中対応抽出 2. ニュース記事の日中対応の推定 3. 日中各言語のニュース記事集合における トピックの推定 4. トピックの日中対応の推定 27
- 28. 既存の技術 • 記事をいくつかの意味のまとまりで捉える →記事集合からトピックの分布を推定する →トピックモデル トピックモデル：DTM（dynamic topic model） 28
- 29. DTM ( Dynamic Topic Model ) [Blei06] • 時間情報を考慮したトピックモデル 各日のトピック間の対応がとれている • トピック数Kと，時系列文書が入力 • 文書dにおけるトピックznの分布 p( zn | d ) • トピックznにおける語wの分布 p( w | zn ) 29
- 30. 文書とトピックの対応付け ■ 文書d におけるトピックznの確率分布 p( zn | d ) トヨタ自動車の大規模リコール を巡る２日間の米下院公聴会 が終わった。異例の数の報道 陣 に囲まれ、証言に臨んだ豊 田章男社長。米国の議員やメ ディアは敬意を表し、信頼回復 に向けたハードルをひとつ乗り 越えた。だが、今秋に中間選挙 トピック z1 を控えた議員たちの「政 治 ショー」をこなしても、トヨタ車の 安全が保証されたわけではな い。 p( z1 | d )=0.01 トピック z2 )= p( z3 | d トピック z3 0.87 p( z2 | d ) =0.12 文書d 30
- 31. 文書とトピックの対応付け ■トピックへの文書の割り当て → p( zn | d )≧0.6 となる zn に文書b を割り当てることで文書をク ラスタリングする トピック z1 の 文書集合 トピック z1 トピック z2 p( z1 | d )=0.01 トピック z2 の 文書集合 )= p( z3 | d 0.87 p( z2 | d ) =0.12 トピック z3 トピック z3 の 文書d 文書集合 文書d 31
- 32. 提案手法 1. Wikipediaの言語間リンクを用いたエントリ の日中対応抽出 2. ニュース記事の日中対応の推定 3. 日中各言語のニュース記事集合における トピックの推定 4. トピックの日中対応の推定 32
- 33. トピックの日中対応の推定 • DTMモデルにより、ある日の日本語トピックごとの記事集合と 中国語トピックごとの記事集合の間で、対応するトピック組を推定 する 日本語トピック集合 中国語トピック集合 Topic0:トヨタリコール問題 Topic0:全国人民代表大会 常務委員会 Topic1:IMF特別顧問 対応するトピック組を発見する Topic2:茨城から素粒子検出 Topic1:教育改革 Topic2:トヨタリコール問題 ・ ・ ・ ・ ・ ・ Topic19:犯罪者が捕まれた Topic19: IMF特別顧問 33
- 35. トピックの日中対応の推定 例：「チリ地震」について 中国語トピックA 日本語トピックA 記事 記事 記事 記事 記事 日本語ニュースと中国語ニュースの組数：5 記事 記事 記事 記事 記事 記事 記事 記事 記事 記事 記事 記事 記事 中国語トピックB 日本語ニュースと中国語ニュースの組数：8 記事 記事 記事 記事 記事 記事 記事 記事 35
- 36. トピックの日中対応の推定 例：「チリ地震」について 中国語トピックA 日本語トピックA 記事 記事 記事 記事 記事 日本語ニュースと中国語ニュースの組数：5 記事 記事 記事 記事 記事 対応するトピック組： 記事 記事 記事 日本語トピックA―中国語トピックB 記事 記事 記事 記事 記事 中国語トピックB 日本語ニュースと中国語ニュースの組数：8 記事 記事 記事 記事 記事 記事 記事 記事 36
- 37. トピックの日中対応の推定 • トピックの推定は、一日だけでなく，連続した各日 ごとに見ていく 任意の日の日本語トピック 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日 集合と中国語トピック集合 の間で、対応するトピック組 チリ地震 を推定する 日本語 トピック 集合 任意の日本語トピック に対して、同日において 対応付けた中国語 トピックを推定する 中国語 同様に、任意の中国語 トピック トピックに対して、同日 集合 において対応付けた チリ地震 日本語トピックを推定する 37 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日
- 38. トピックの日中対応の推定 • トピックの推定は、一日だけでなく，連続した各日 ごとに見ていく 連続の日の日本語トピック 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日 集合と中国語トピック集合 の間で、対応するトピック組 チリ地震 を推定する 日本語 トピック 集合 この手法で、連続の期間で、 推定をすると、ある話題に 対して、日本と中国では、 連続的に報道されるかどうか がわかる 中国語 トピック 集合 チリ地震 38 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日
- 39. トピックの日中対応の推定 • トピックの推定は、一日だけでなく，連続した各日 ごとに見ていく 連続の日の日本語トピック 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日 集合と中国語トピック集合 の間で、対応するトピック組 チリ地震 を推定する 日本語 トピック 集合 しかし、連続な期間で一日だけ 対応できない、その以後の日に 全部対応できる場合は、この 話題が連続的に報道されたと 判断する 中国語 トピック 集合 チリ地震 39 2010年2月27日 2010年2月28日 2010年3月1日 2010年3月2日 2010年3月3日
- 40. 以上で，説明を終わりにします ありがとうございました 40