Recommended
More Related Content
Featured
Featured (20)
Characeter-Level CNN
- 2. About Me ・大学/大学院では理論物理学の研究をしてました。 超弦理論（量子論 /素粒子論と一般相対性理論の統一を目指す学問）の研究 →10次元時空に飲み込まれそうだったので現実世界（ 4次元時空）に逃げてきました。 ・シルバーエッグ テクノロジー に所属 機械学習エンジニアっぽいことをやってる。 (入社時はWeb Developer) http://members.wolfram.com/jeffb/visualization/stringtheory.shtml ・趣味：プログラミングと情報幾何学 ・好きな言語: Python ・GitHub: https://github.com/Tdual
- 3. 話す事 ・CNNの説明 ・TensorFlowでCNNを実装する方法 ・Character Level CNNの説明 ・TensorFlowでCharacter Level CNNを実装する方法
- 4. まずはCNNの説明から
- 5. CNNとは ・Convolutional Neural Networkの略 ・Deep Learningの手法の一種 ・日本語では「畳み込みニューラルネットワーク」 ・二つの特別な層を持つ（Convolution層とPooling層） ・画像認識ではもっともポピュラーで精度も最強 画像分類タスクにおいてはすでに人間より上 ILSVRC（2017）の画像分類タスク: エラー率 0.023 人間の画像分類タスク : エラー率 0.051 (http://image-net.org/challenges/talks_2017/ILSVRC2017_overview.pdf) (http://karpathy.github.io/2014/09/02/what-i-learned-from-competing-against-a-convnet-on-imagenet/)
- 7. Convolution層（１） 1 0 1 0 0 1 2 1 1 2 2 4 0 1 5 6 畳み込み（Convolution）をする層 （正確には相互相関処理） インプットに対してフィルターをかけて特徴を顕著化してアウトプットする感じ インプット 1 0 1 1 5 2 1 1 1 フィルター ⊗ 16 21 23 34
- 8. Convolution層（２） 1 0 1 0 0 1 2 1 1 2 2 4 0 1 5 6 具体的な計算方法 インプット 1 0 1 1 5 2 1 1 1 フィルター ⊗ 16 1*1 + 0*0 + 1*1 + 0*1 + 1*5 + 2*2 + 1*1 + 2*1 + 2*1 =16 インプットの一部にフィルターを当てて行列の内積を取る
- 9. 1 0 1 0 0 1 2 1 1 2 2 4 0 1 5 6 1 0 1 1 5 2 1 1 1 ⊗ 16 23 1 0 1 0 0 1 2 1 1 2 2 4 0 1 5 6 1 0 1 1 5 2 1 1 1 ⊗ 16 21 23 1 0 1 0 0 1 2 1 1 2 2 4 0 1 5 6 1 0 1 1 5 2 1 1 1 ⊗ 16 21 23 34
- 11. Pooling層（２） 1 0 1 0 0 1 2 1 1 2 2 2 0 3 5 6 max pooling 対象領域の中で最大の値をとる 1 2 3 6 pooling
- 12. 1 0 1 0 0 1 2 1 1 2 2 2 0 3 5 6 1 1 0 1 0 0 1 2 1 1 2 2 2 0 3 5 6 1 2 3 1 0 1 0 0 1 2 1 1 2 2 2 0 3 5 6 1 2 1 0 1 0 0 1 2 1 1 2 2 2 0 3 5 6 1 2 3 6
- 13. Pooling層（３） 1 0 1 0 0 1 2 1 1 2 2 2 0 3 5 6 上にずらしてみる 0 1 2 1 1 2 2 2 0 3 5 6 0 0 0 0 pooling pooling 1 2 3 6 2 2 3 6ほぼ変わらない
- 15. Stride（１） 畳み込みフィルターや Poolingの適用間隔 横Stride:1, 縦Stride:1
- 17. Padding（１） ０ ０ ０ ０ ０ ０ ０ 1 0 1 0 ０ ０ 0 1 2 1 ０ ０ 1 2 2 4 ０ ０ 0 1 5 6 ０ ０ ０ ０ ０ ０ ０ 周囲を埋めてアウトプットのサイズを調整する。 インプット 1 0 1 0 0 1 2 1 1 2 2 4 0 1 5 6 ０で埋めて元のインプットよりもサイズを大き くする
- 18. Padding（２） インプット 1 0 1 1 5 2 1 1 1 フィルター ⊗ ０ ０ ０ ０ ０ ０ ０ 1 0 1 0 ０ ０ 0 1 2 1 ０ ０ 1 2 2 4 ０ ０ 0 1 5 6 ０ ０ ０ ０ ０ ０ ０ 6 6 9 4 10 16 21 14 6 23 34 35 4 paddingする前の元の インプットサイズと同じ サイズのアウトプット得 る
- 19. TensorFlowについて
- 26. 手書き文字認識（１） exampleデータセッ トを取得するため のヘルパー こんな感じの手書 き文字画像が入っ てる 画像データと正解ラベル を取得できる。 正解ラベルはone-hotベクトル 0 → [1,0,0,0,0,0,0,0,0,0] 1 → [0,1,0,0,0,0,0,0,0,0] 9 → [0,0,0,0,0,0,0,0,0,1]
- 32. CNNで作ったもの③ 似た服を検索でき るアプリ demoサイト http://imagerecommender-env-2.ap-northeast-1.elasticbeanstalk.com/
- 34. Character Level CNN ・オリジナル論文 Xiang Zhang, Junbo Zhao, Yann LeCun: Character-level Convolutional Networks for Text Classification (https://arxiv.org/abs/1509.01626) ・テキスト分類をCNNでやってる。 ・文書の文字（Character）の並びしか見てない。（最小単位が文字） 自然言語処理の多くは、文書は単語の集合としてとらえる（最小単位が単語）のでこれは珍しい
- 35. 最小単位が文字のメリット/デメリット メリット ・前処理がいらない（日本語なら分かち書きが必要ない） ・タイポやスペルミスが多い文書でも有効（レビュー ,チャットなど） ・文書じゃない物にも適応できる（ URL, Tex, プログラミングコードなど） デメリット ・単語に比べて粒度が小さいので学習に時間がかかる
- 36. ネガポジ判定器を作ってみる。 Amazonのレビューを読んでそれがポジティブな内容かネガティブな内容か判断 CNNで作った 判定器 review I love it because ... 「ポジティブ」です。
- 38. 処理の流れ（オリジナル） 対象文字 abcdefghijklmnopqrstuvwxyz0123456789 -,;.!?:’’’/|_@#$%ˆ&*˜‘+-=<>()[]{} a → (1,0,0,....,0,0) b → (0,1,0,....,0,0) … { → (0,0,0,....,1,0) } → (0,0,0,....,0,1) 70次元ベクトル ①文字をone-hot ベクトルに変換 ②６層のCNNの通して最後に３層の全結合層に通して分類
- 42. 別のアーキテクチャ 別のアーキテクチャを使っている論文を発見 Joshua Saxe, Konstantin Berlin: eXpose:A Character-Level Convolutional Neural Network with Embeddings For Detecting Malicious URLs, File Paths and Registry Keys(https://arxiv.org/abs/1702.08568) character level CNNを使って悪意あ るURLやファイルパスを検知するとい う内容
- 44. ①文字を埋め込みむ（１） 文字をベクトルで表現したいが one-hotベクトルだと次元が大きくなりすぎる。 アルファベットだと26次元で済むが、記号やギリシャ文字などが入ってくると次元 はどんどん大きくなる。 さらに日本語だと、ひらがな・カタカナ・漢字があるので約 3000次元になる。1文 字計算するごとに3000次元のベクトル計算をする羽目になる。 a → (1,0,0,....,0) b → (0,1,0,....,0) … z → (0,0,0,....,1) 低次元ベクトルで表現したい。
- 45. ①文字を埋め込みむ（２） ・埋め込み表現（分散表現） 例: a → (1, 3, -2, .... ,2) b → (-5, 1, 4, .... ,-8) … ・埋め込み方は？ それもニューラルネットワークに学習させよう。 ・埋め込み層を用意する 。 a b c 文字数 × 埋め込み次元 行列 埋め込み 対応する文字の行ベクトルを選んで更新する。 one-hotベクトルとは違い全 ての成分に値がある。
- 46. ②カーネルサイズが違う複数のCNNに入れて特徴を出力(1) filter数:256 カーネルサイズ: 1×2, 1×3, 1×4, 1×5 (stride 横1,縦1)
- 47. ②カーネルサイズが違う複数のCNNに入れて特徴を出力(2) this is a pen. → t h i s i s a p e n . 1×2 1×3 1×4 1×5 解釈 様々なWindowで文字のCooccurrence(共起性)を学習してる
- 49. TensorFlowで実装
- 51. アーキテクチャ図
- 54. 日本語は？
- 56. 日本語の処理 英語の時と何も変わらない。 文字（ひらがな、カタカナ、漢字）を整数値にマッピングして tf.nn.embedding_lookupに突っ込むだけ。 例： あ → 1 い → 2 … 大 → 1212 坂 → 1213 … （※数値は適当です）
- 60. word level CNNで同じことをやる 変えた文字の数と精度 50文字ですでに精度が 0.5 character level
- 61. まとめ ・CNNはTensorFlowを使うと簡単に実装できる。 ・CNNは発想次第でいくらでもアプリケーションに応用できる。 （自然言語処理にも使える） ・Character level CNNは誤字・脱字に強い → SNSメッセージ、チャット、レビューなど最適 （しかも分かち書き不要）
- 62. Thank you