Recommended
More Related Content
Featured
Featured (20)
放送ニュースの基本語彙の抽出
- 2. はじめに • 本研究では日本国内の外国人住人のための ニュースの書き換えサービスについての検討 • ニュースの簡単化に有用な『ニュース基本語彙』 の選定方法について 2 ニュースを簡単化する主な方法 • 単語を簡単にする • 構文を簡単にする 単語を優しくすることは書き換え作業者にとって大 きな負担となっているため、本研究ではニュース の頻出単語をリスト化することに取り組む
- 3. ニュースの基本語彙の特徴 • 頻度や領域は数学的に定義でき、統計指標だ けで適切な基本語彙リストを作ることができる • 頻度や領域は人の内省によるもの • リスト作成時のコーパスによっては偏りが生じ ることがある 3 ニュースの基本語彙の考え方 1. 頻度が大きい 2. 使用領域が広い 3. 基本的な意味を持つ
- 4. 実験概要(1) • 2000年から2010年までのNHKニュースを用いて、 リスト作成における基本的指標を比較、評価を 行った • 基本語彙の抽出に用いられることの多い単純 頻度で作成した語彙リストをベースラインにして、 基本的指標で作成した語彙リストと比較した。 • 評価は筆者が主観的に行った 4
- 5. 実験概要(2) 1. 単純頻度を用いて高頻度語リストを作成 2. 比較指標を用いて語彙リストを作成 3. 1.)2.)の語彙リストから上位500語と6000語を 抽出してリスト化する (リスト内の単語数によ る影響を考慮するため) 4. 単純頻度語リストのみに出現した単語と、比 較指標の語彙リストのみに出現した単語から 一語ずつ無作為に抽出した評価用ペアを50 組作る 5
- 6. 実験概要(3) 5. ペアの各単語を「主観的頻度の高さ」と 「主観的領域の広さ」を比較する 6. 5)の結果を表1に当てはめて評価を行う 7. 総合評価の数が多かった指標が 「ニュースの基本語彙」の抽出に適した指標とする 8. 基本語彙として自明な助詞、助動詞、数などは対象 から除外した 6
- 9. 基本語彙抽出のための統計指標 1. 単純頻度と文書頻度 単純頻度：単語wの出題回数 文書頻度：単語w を含む記事の数 2. KL情報量 ある単語と全単語の相対頻度の差 3. 相乗平均 単語wのジャンルgと時期tごとの単純頻度 の相乗平均 9
- 10. KL情報量 G(w,t, g) t,g å ·log( G(w,t, g) F(t, g) ) G(w,t, g) = c(w,t, g)+1 c(w,t, g) t,g å , F(t, g) = c(w,t, g) w å c(w,t, g) w,t,g å c(w,t, g) : 10 ジャンルgと時期tのニュース中の単語wの 単純頻度 KL情報量は全単語のジャンルgと時期tごとの 相対頻度F(t,g)とある単語wのジャンルgと時期t ごとの相対頻度G(w,t,g)との差を表したもの ・・・(1)
- 12. 単純頻度と教育基本語彙の比較 12 • 「日本語教育のための基本語彙調査」に掲載されて いる2030語と6060語の語彙リストを用いた • 単語数を合わせるために、単純頻度語リストの単語 数も上位2030語と6060とした • 単純頻度語リストと教育基本語彙の間で重複しな かった単語は上位2030語では1316語、6060語では 3115語であった
- 13. 単純頻度と教育基本語彙の比較 2030語/6060語 頻度の大きさ 領域の広さ 総合評価 単純頻度 39/22 25/20 39/22 教育基本語彙 (2030) 0/1 3/12 1/9 比較不能 11/27 12/18 10/19 13 表２: 高頻度語リストと既存の基本語表の比較
- 15. 単純頻度と教育基本語彙の比較 15 • 表2の総合評価を比較した結果、2030語と6060語共 に単純頻度語リストの評価が良かった • 評価例(表3)の「アイロン」「洗濯機」のようなニュース にはほとんど出現しない単語が教育基本語彙に多く 含まれていた • 各語彙リストの単語2030語がニュースをカバーする 割合を調べた結果、単純頻度語リストのカバー率が 63.4%だったのに対し、教育基本語彙のカバー率は 24.8%と低かった
- 16. 単純頻度と文書頻度の比較 500語/6000語 頻度の大きさ 領域の広さ 総合評価 単純頻度 4/10 4/5 4/5 文書頻度 29/32 39/40 38/36 比較不能 17/8 7/5 8/9 16 表4: 単純頻度と文書頻度の比較
- 18. 単純頻度と文書頻度の比較 18 • リスト間で重複しなかった単語は上位500語では 53語、上位6000語では306語であった • その結果上位500語と6000語ともに文書頻度の 評価が良かった • 文書頻度では「良い」「残る」などの用言が多かっ た。 • 重複しなかった単語の品詞分布は単純頻度語リ ストはほとんど名詞に対して、文書頻度語リスト のみに出現した単語の品詞は上位500語で 41.5%で6000語で29.4%が用言だった
- 19. 単純頻度と重み付きKL情報量の比較 19 • 式(1)にあるジャンルは「社会、暮らし、文化、科学・ 医療、政治、経済、国際、スポーツ」の７つを使い、 時期の単位は月とした • 評価の結果、すべての組みにおいて単純頻度が適 切と評価されたため、KL情報量で作成した語彙リ ストのみに出現した単純頻度を調べたところ、ほと んどが１０未満だった • KL情報量のリストの低頻度語の影響を緩和するた めに重み付きKL情報量(式(3))を作成し、新たな指 標とした KLt(w) = KL(w)* c(w,t,g) t,g å ・・・(3)
- 20. 単純頻度と重み付きKL情報量の比較 500語/6000語 頻度の大きさ 領域の広さ 総合評価 単純頻度 4/50 6/49 3/50 重み付き KL情報量 40/0 44/0 41/0 比較不能 6/0 0/1 6/0 20 表6: 単純頻度と重み付きKL情報量の比較
- 22. 単純頻度と重み付きKL情報量の比較 22 • リスト間で重複しなかった単語は上位500語では102語、 6000語では781語であった • 上位500語では重み付きKL情報量の評価が良かったが、 上位6000語で低頻度語の影響により単純頻度が適正とさ れた • 表7の評価例のように、単純頻度語リストにはジャンルに 偏りがあり領域の狭いと評価されるものが多かったが、重 み付きKL情報量のリストに出現した単語はジャンルや時 期を推定できず領域が広いと評価されるものが多かった
- 23. 単純頻度と相乗平均の比較 500語/6000語 頻度の大きさ 領域の広さ 総合評価 単純頻度 10/4 4/5 3/4 相乗平均 34/35 46/41 39/42 比較不能 6/11 0/4 8/4 23 表8: 単純頻度と相乗平均の比較
- 25. 単純頻度と相乗平均の比較 25 • 各指標で重複しなかった単語は上位500語では 120語、6000語では504語あった • 上位500語と6000語ともに相乗平均の評価が良 かった • 単純頻度語リストのみに出現した単語には「野党」、 「海水浴」などジャンルに偏りがあり、領域が狭い と評価されたものがあったのに対し、相乗平均の リストにみに出現した単語には偏りがなく領域が 広いと評価されたものが多かった
- 27. まとめ • ニュース中の頻度が大きく、領域が広い語彙を 「ニュースの基本語彙」と定義し、それを抽出するの に最適な統計手法を求めることを目的とした • 「主観的頻度の大きさ」、「主観的領域の広さ」の２つ の基準を用意し、人間の内省により近い統計指標を 実験的に検討した • 文書頻度、重み付きKL情報量、ジャンルと時期ごと の単語の頻度の相乗平均の指標を実験的に検討し た • ニュースの基本語彙の抽出において、検討した指標 の中で相乗平均が最も適していた 27