Recommended
More Related Content
More from Junya Kamura
More from Junya Kamura (8)
論文輪講 Initializing convolutional filters with semantic features for text classification
- 1. Initializing Convolutional Filters with Semantic Features for Text Classification arXivtimes 論⽂輪講 2017/11/15 嘉村 準弥
- 2. Agenda • 概要 • ⼿法 • N-gram Selection • Filter Initialization • 実験/結果 • まとめ
- 3. 概要 • CNNによる⽂書分類において、畳み込み層のフィルター初期化に意味特徴を ⽤いる提案 • ランダムに設定より性能を向上させつつ、計算量を抑える • 感情分析やトピック分類など様々なタスクに適⽤できる
- 4. 先⾏研究 • Convolutional Neural Networks for Sentence Classification • ⽂を単語ベクトルの列として表現し、CNNによって特徴を抽出・分類を⾏ なう。事前学習済みの単語ベクトル(Google Newsをword2vecで学習した もの)を使うことで性能が向上
- 5. • 先⾏研究のモデルがベース embedding層は1層 • 畳み込み層のフィルターを改良 フィルターに意味特徴を含ませる 例として極性判定の場合「not bat」に 対して活性化させるフィルターとして 初期化する。 • N-gram Selection • Filter Initialization 提案⼿法
- 6. • 訓練データから分類する各カテゴリの特徴をN-gramとして得る。 N-gramの重要度をNaive Bayes(NB) weightingでスコア付けする。 N-gram Selection positive negative 1 amazing 2 good 3 interesting 4 nice positive category 1 bad 2 boring 3 uninteresting 4 tedious negative category r : NBweight c : w : pc w :c w pc 1 :c p!c w :c w p!c 1 :c α :
- 8. • 分類すべきカテゴリの特徴を表す単語ベクトルを得る N-gram Selectionで得た結果をK-means法でクラスタに分割する。 クラスタ中⼼のベクター(centroid vector)はクラスタの特徴を表す単語ベク トルとなる。 Filter Initialization interesting amazing ×：centroid good nice 1 amazing 2 good 3 interesting 4 nice positive category × ×
- 9. Filter Initialization • centroid vectorを畳み込み層のフィルターの初期値とする。 フィルターの中⼼に得られた単語ベクトルを設定する。(図中⿊マス) それ以外の位置(図中⽩マス)はランダム値で設定する。
- 10. 提案⼿法 全体像 × × N-gram Selection Filter Initialization
- 11. 実験 • 提案⼿法 事前設定 N-gram Selectionでは上位10%の語句を利⽤。 提案⼿法以外のパラメータはベース⼿法の設定値に揃える。 ・単語ベクトルは300次元 ・フィルターは300枚 • タスク ベース論⽂と同様の7つのデータセット。 (MR,SST-1,SST-2,Subj,TREC,CR,MPQA) • 実験⽅法 • 提案⼿法の性能確認実験 N-gramのサイズを変えて性能を確認(uni,bi,tri) • ⽐較実験 ベース⼿法や他の⼿法と⽐較
- 12. 提案⼿法の性能確認 • いずれのテストデータセットに対してもベース⼿法と同等もしくはそれ以上 の性能を⽰す • MPQAにおいてはNB weightingで性能が上がらないことが他の研究で確認さ れている(Wang and Mannig, 2012) ※Accuracy
- 13. ⽐較実験 • 上位グループ(ベースラインの派⽣型)との⽐較では3つのタスクにおいて良い 性能を⽰す • 下位グループ(複数モデルを利⽤する⼿法)と⽐較しても争えるくらいの性能を ⽰している。 • 提案⼿法は2クラス・多クラス分類の両者で全般的に良い性能が⽰せており、 他の外部知識を利⽤せずに実装できるためNLP全般で利⽤可能
- 15. 参考⽂献 • Initializing Convolutional Filters with Semantic Features for Text Classification • Convolutional Neural Networks for Sentence Classification