Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Initializing Convolutional Filters
with Semantic Features for Text Classification
arXivtimes 論⽂輪講
2017/11/15 嘉村 準弥
Agenda
• 概要
• ⼿法
• N-gram Selection
• Filter Initialization
• 実験/結果
• まとめ
概要
• CNNによる⽂書分類において、畳み込み層のフィルター初期化に意味特徴を
⽤いる提案
• ランダムに設定より性能を向上させつつ、計算量を抑える
• 感情分析やトピック分類など様々なタスクに適⽤できる
先⾏研究
• Convolutional Neural Networks for Sentence Classification
• ⽂を単語ベクトルの列として表現し、CNNによって特徴を抽出・分類を⾏
なう。事前学習済みの単語ベクトル(Goog...
• 先⾏研究のモデルがベース

embedding層は1層
• 畳み込み層のフィルターを改良

フィルターに意味特徴を含ませる

例として極性判定の場合「not bat」に
対して活性化させるフィルターとして
初期化する。

• N-gram ...
• 訓練データから分類する各カテゴリの特徴をN-gramとして得る。

N-gramの重要度をNaive Bayes(NB) weightingでスコア付けする。
N-gram Selection
positive
negative
1 ama...
N-gram Selectionの例
• 分類すべきカテゴリの特徴を表す単語ベクトルを得る

N-gram Selectionで得た結果をK-means法でクラスタに分割する。

クラスタ中⼼のベクター(centroid vector)はクラスタの特徴を表す単語ベク
トルとなる。
...
Filter Initialization
• centroid vectorを畳み込み層のフィルターの初期値とする。

フィルターの中⼼に得られた単語ベクトルを設定する。(図中⿊マス)

それ以外の位置(図中⽩マス)はランダム値で設定する。
提案⼿法 全体像
×
×
N-gram Selection Filter Initialization
実験
• 提案⼿法 事前設定

N-gram Selectionでは上位10%の語句を利⽤。

提案⼿法以外のパラメータはベース⼿法の設定値に揃える。

 ・単語ベクトルは300次元

 ・フィルターは300枚
• タスク

ベース論⽂と同様の...
提案⼿法の性能確認
• いずれのテストデータセットに対してもベース⼿法と同等もしくはそれ以上
の性能を⽰す
• MPQAにおいてはNB weightingで性能が上がらないことが他の研究で確認さ
れている(Wang and Mannig, 20...
⽐較実験
• 上位グループ(ベースラインの派⽣型)との⽐較では3つのタスクにおいて良い
性能を⽰す
• 下位グループ(複数モデルを利⽤する⼿法)と⽐較しても争えるくらいの性能を
⽰している。
• 提案⼿法は2クラス・多クラス分類の両者で全般的に...
まとめ
• CNNのフィルターに意味特徴を初期値として設定することで、

様々な分類タスクに対して良い性能を⽰すことができる
参考⽂献
• Initializing Convolutional Filters with Semantic Features for Text
Classification
• Convolutional Neural Networks fo...
Upcoming SlideShare
Loading in …5
×
Upcoming SlideShare
Dynamic filters in graph convolutional network
Next
Download to read offline and view in fullscreen.

0

Share

Download to read offline

論文輪講 Initializing convolutional filters with semantic features for text classification

Download to read offline

2017/11/16 arXivtimes論文輪講資料

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to like this

論文輪講 Initializing convolutional filters with semantic features for text classification

  1. 1. Initializing Convolutional Filters with Semantic Features for Text Classification arXivtimes 論⽂輪講 2017/11/15 嘉村 準弥
  2. 2. Agenda • 概要 • ⼿法 • N-gram Selection • Filter Initialization • 実験/結果 • まとめ
  3. 3. 概要 • CNNによる⽂書分類において、畳み込み層のフィルター初期化に意味特徴を ⽤いる提案 • ランダムに設定より性能を向上させつつ、計算量を抑える • 感情分析やトピック分類など様々なタスクに適⽤できる
  4. 4. 先⾏研究 • Convolutional Neural Networks for Sentence Classification • ⽂を単語ベクトルの列として表現し、CNNによって特徴を抽出・分類を⾏ なう。事前学習済みの単語ベクトル(Google Newsをword2vecで学習した もの)を使うことで性能が向上
  5. 5. • 先⾏研究のモデルがベース
 embedding層は1層 • 畳み込み層のフィルターを改良
 フィルターに意味特徴を含ませる
 例として極性判定の場合「not bat」に 対して活性化させるフィルターとして 初期化する。
 • N-gram Selection • Filter Initialization 提案⼿法
  6. 6. • 訓練データから分類する各カテゴリの特徴をN-gramとして得る。
 N-gramの重要度をNaive Bayes(NB) weightingでスコア付けする。 N-gram Selection positive negative 1 amazing 2 good 3 interesting 4 nice positive category 1 bad 2 boring 3 uninteresting 4 tedious negative category r : NBweight c : w : pc w :c w pc 1 :c p!c w :c w p!c 1 :c α :
  7. 7. N-gram Selectionの例
  8. 8. • 分類すべきカテゴリの特徴を表す単語ベクトルを得る
 N-gram Selectionで得た結果をK-means法でクラスタに分割する。
 クラスタ中⼼のベクター(centroid vector)はクラスタの特徴を表す単語ベク トルとなる。 Filter Initialization interesting amazing ×:centroid good nice 1 amazing 2 good 3 interesting 4 nice positive category × ×
  9. 9. Filter Initialization • centroid vectorを畳み込み層のフィルターの初期値とする。
 フィルターの中⼼に得られた単語ベクトルを設定する。(図中⿊マス)
 それ以外の位置(図中⽩マス)はランダム値で設定する。
  10. 10. 提案⼿法 全体像 × × N-gram Selection Filter Initialization
  11. 11. 実験 • 提案⼿法 事前設定
 N-gram Selectionでは上位10%の語句を利⽤。
 提案⼿法以外のパラメータはベース⼿法の設定値に揃える。
  ・単語ベクトルは300次元
  ・フィルターは300枚 • タスク
 ベース論⽂と同様の7つのデータセット。
 (MR,SST-1,SST-2,Subj,TREC,CR,MPQA) • 実験⽅法 • 提案⼿法の性能確認実験
  N-gramのサイズを変えて性能を確認(uni,bi,tri) • ⽐較実験
  ベース⼿法や他の⼿法と⽐較
  12. 12. 提案⼿法の性能確認 • いずれのテストデータセットに対してもベース⼿法と同等もしくはそれ以上 の性能を⽰す • MPQAにおいてはNB weightingで性能が上がらないことが他の研究で確認さ れている(Wang and Mannig, 2012) ※Accuracy
  13. 13. ⽐較実験 • 上位グループ(ベースラインの派⽣型)との⽐較では3つのタスクにおいて良い 性能を⽰す • 下位グループ(複数モデルを利⽤する⼿法)と⽐較しても争えるくらいの性能を ⽰している。 • 提案⼿法は2クラス・多クラス分類の両者で全般的に良い性能が⽰せており、 他の外部知識を利⽤せずに実装できるためNLP全般で利⽤可能
  14. 14. まとめ • CNNのフィルターに意味特徴を初期値として設定することで、
 様々な分類タスクに対して良い性能を⽰すことができる
  15. 15. 参考⽂献 • Initializing Convolutional Filters with Semantic Features for Text Classification • Convolutional Neural Networks for Sentence Classification

2017/11/16 arXivtimes論文輪講資料

Views

Total views

1,584

On Slideshare

0

From embeds

0

Number of embeds

1,242

Actions

Downloads

4

Shares

0

Comments

0

Likes

0

×