Coster and Kauchak. Simple English Wikipedia: A New Text Simplification Task. In Proc. of ACL, pp.665-669, 2011.

1. Coster and Kauchak. “Simple English
Wikipedia: A New Text Simplification Task.”
In Proc. of ACL, pp.665-669, 2011.
B4 西原 大貴

2. 目次
 概要
 データセット例
 コーパス生成
 コーパス分析
 文レベルのテキスト平易化

3. 概要
文平易化
 理解しやすい語彙と文章構造を組み込んだ
新しいデータセット作りました
 Wikipedia と Simple Wikipedia
◦ 語彙置換、並べ替え、挿入、削除が含まれている

4. 例

5. コーパス生成：文書対
 まず、タイトルでペアに
 次に、以下の記事を削除
◦ １行しか含まれていない
◦ STABフラグがついてる（＝まだ成長中の記事）
◦ 曖昧さ回避ページフラグがついている
◦ メタページ
 残ったのは10,588記事（元110Kから90%削除）

6. コーパス生成：段落対
単一言語アライメント
 Barzilay and Elhadad, 2003; Nelken and Shieber, 2006
 段落は、記事の書式設定情報で識別
 平易文と難解文をアライメント
◦ TF-IDF Cos類似度：閾値0.5以上
 段落クラスタリング手法（Barzilay and Elhadad, 2003）は、
TF-IDFと差がなかった

7. コーパス生成：文対
 動的計画法で最良のアライメント
◦ Barzilay and Elhadad (2003)
 𝑛 個の難解文を 𝑚個の平易文にアライメント
 𝑠𝑖𝑚(𝑖, 𝑗) は 𝑖 番目難解文と 𝑗 番目平易文の類似度
◦ TF-IDF Cos類似度
……………………… 平易文をとばす
……………………… 難解文をとばす
……………………… 1難解文→1平易文
…… 1難解文→2平易文
…… 2難解文→1平易文
… 2難解文→2平易文
𝑠𝑘𝑖𝑝_𝑝𝑒𝑛𝑎𝑙𝑡𝑦 = 0.0001

8. コーパス生成：文対
 閾値0.5未満のペアは削除
◦ 閾値を変えての比較がしやすい
◦ （Barzilay and Elhadad (2003)は、類似度評価に、
ミスマッチペナルティを組み込んでいた）
◦ 閾値が高いと、多くのアライメントは正しくなる
◦ 閾値が低いと、文対のバリエーションを確保できる

9. コーパス分析
文対137K
 from 段落75K from 記事10K
人手評価
 ２人の評価者：文対が正しいかどうか
 無作為に100文ずつ
 結果：91/100 は正しい
◦ 残りの 9 は内容の部分的な重複

10. コーパス分析
閾値を 0.5 → 0.75 にしてみた
 ペア数 137K → 90K
 人手評価 91/100 → 98/100
 今後、0.5で議論するが0.75で同様の傾向

11. コーパス分析
平易文の数
 40文/平易記事 → 14文対/記事 を得た
 難解記事が、文レベルの変更のみで平易記事に
なるケースは稀
 ２つのデータセットに相関
◦ アライメント文27％が不変
◦ 文を平易化しないケースも必要として、残した

12. コーパス分析
アライメントできない文はたくさんある
 65%の平易段落はアライメントできない
 表の通り、文アライメントできないものは多い

13. コーパス分析
平易文への変換を詳しく見る
 単語アライメントツール GIZA++ (Och and Ney, 2003)
で、次を１つ以上含む文の割合を調べた
◦ 語彙置換：難解単語が別の平易単語へ変換
◦ 削除：難解単語が削除
◦ 並べ替え：非単調アライメント
◦ 分割：難解単語を複数の平易単語へ分割
◦ 統合：複数の難解単語を１つの平易単語へ凝縮

14. コーパス分析
平易文への変換を詳しく見る

15. 文レベルのテキスト平易化
予備実験
 テキスト平易化は、英英翻訳
 Moses (Och and Ney, 2004)：フレーズベース
◦ 訓練データ 124K
◦ n-gram 言語モデルは、データの平易文側で訓練
◦ dev 500文対で、対数線形モデルのハイパーパラメータ訓練
 テストデータ 1300文対
 Baselineは入出力同じで平易化しない（NONE）

16. 文レベルのテキスト平易化
予備実験の評価方法
 BLEU
 単語レベルF1
 単純な文字列精度（SSA）：要約用
◦ Clarke and Lapata, 2006
 いずれも、人間の判断と相関がある

17. 文レベルのテキスト平易化
予備実験の結果
 ブートストラップ法で、100個の再サンプリング (Koehn,
2004) を用いるとp=0.01で統計的に有意
 Baselineは良い、Moses は統計的に有意

18. 文レベルのテキスト平易化
フレーズベースモデルの平易化の限界
 上位1000個の平易化リストを作成
 文レベルのBLEUが高いn-bestから平易化選んだ
◦ 表３のMoses-Oracle