Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 1
Encoder-decoder 翻訳
Yusuke Oda
(NAIST)
@odashi_t
2015/12/10...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 2
機械翻訳
● 機械翻訳 (Mahcine Translation: MT)
– ある言語の文を、計算機で別の言語の文...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 3
統計的機械翻訳
● 統計的機械翻訳 (Statistical Machine Translation: SMT)
–...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 4
フレーズ翻訳
● 単語列をグループ化、変換、並べ替え
– 現在主流の手法
彼 は 望遠鏡 で 女の子 を 見た
He...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 6
Sequence-to-sequence 翻訳
● 部分的な変換ルールは学習せず、文全体の情報を用いて翻訳
直訳手法...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 7
ニューラルネット翻訳
● Sequence-to-sequence 翻訳の一種
● 意味の解析・単語の生成にニューラ...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 8
リカレントニューラルネット (1)
● リカレントニューラルネット (Recurrent Neural Networ...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 9
リカレントニューラルネット (2)
● 時間方向に伸展したRNN
– 中間層には入力の種類と順序に関する情報が蓄積さ...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 10
Encoder-decoder 翻訳モデル (1)
● 原言語側と目的言語側の2本のRNNを結合
– 原言語側 …...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 11
Encoder-decoder 翻訳モデル (2)
END runs he
走る は 彼
● 埋め込み層 (emb...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 12
Encoder-decoder 翻訳モデル (3)
END runs he
走る は 彼
● 隠れ層 (hidde...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 13
Encoder-decoder 翻訳モデル (4)
END runs he
走る は 彼
● 出力層 (softm...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 14
HANDS ON
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 15
Chainer で Encoder-decoder 翻訳
● Chainer - http://chainer.o...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 16
Chainer で Encoder-decoder 翻訳
● Chainer - http://chainer.o...
15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 17
See Also
● ChainerとRNNと機械翻訳 - Qiita
– http://qiita.com/od...
Upcoming SlideShare
Loading in …5
×

Encoder-decoder 翻訳 (TISハンズオン資料)

TIS株式会社のハンズオンで使用した講義資料です。

  • Be the first to comment

Encoder-decoder 翻訳 (TISハンズオン資料)

  1. 1. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 1 Encoder-decoder 翻訳 Yusuke Oda (NAIST) @odashi_t 2015/12/10 TIS Hands-On
  2. 2. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 2 機械翻訳 ● 機械翻訳 (Mahcine Translation: MT) – ある言語の文を、計算機で別の言語の文に変換 – 使用する情報やアルゴリズムによって色々な手法が存在 ● ルールベース翻訳 … 人間が書いた変換ルールを使用 ● 用例翻訳 … 登録された文の単語を置き換えて翻訳 ● 統計的機械翻訳 彼 は 望遠鏡 で 女の子 を 見た He saw a girl with a telescope
  3. 3. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 3 統計的機械翻訳 ● 統計的機械翻訳 (Statistical Machine Translation: SMT) – 大量の対訳文から翻訳に必要な情報を自動的に学習 原言語文原言語文原言語文目的言語文 原言語文原言語文原言語文原言語文 翻訳 アルゴリズム 学習 – フレーズ翻訳 … 原言語の単語列を使用 – 構文翻訳 … 原言語の構文木を使用 – Seq-to-seq 翻訳 … 原言語の意味表現を使用 直訳 意訳
  4. 4. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 4 フレーズ翻訳 ● 単語列をグループ化、変換、並べ替え – 現在主流の手法 彼 は 望遠鏡 で 女の子 を 見た He sawa girlwitha telescope He saw a girl with a telescope
  5. 5. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 6 Sequence-to-sequence 翻訳 ● 部分的な変換ルールは学習せず、文全体の情報を用いて翻訳 直訳手法 原言語 目的 言語 理解 原言語を解析 分解 細かいルールに分割 再構築 ルールを結合 原言語 目的 言語 理解 原言語の 意味を抽出 再構築 意味表現から 直接単語を生成 Sequence-to-sequence 意味表現
  6. 6. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 7 ニューラルネット翻訳 ● Sequence-to-sequence 翻訳の一種 ● 意味の解析・単語の生成にニューラルネットを使用 – 複雑さ: 従来の翻訳アルゴリズムよりも圧倒的に単純 – 翻訳精度: 設定次第で従来手法に匹敵・凌駕 原言語 目的 言語 ニューラル ネット (単語生成) ニューラル ネット (意味解析) 意 味 表 現 ● Encoder-decoder 翻訳モデル – 最も簡単な sequence-to-sequence 翻訳モデル – リカレントニューラルネットを使用
  7. 7. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 8 リカレントニューラルネット (1) ● リカレントニューラルネット (Recurrent Neural Network: RNN) – フィードバック付きのニューラルネット – 時系列データの解析によく用いられる
  8. 8. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 9 リカレントニューラルネット (2) ● 時間方向に伸展したRNN – 中間層には入力の種類と順序に関する情報が蓄積される データ1 データ2 データ3 データ1 データ1  →データ2 データ1  →データ2   →データ3
  9. 9. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 10 Encoder-decoder 翻訳モデル (1) ● 原言語側と目的言語側の2本のRNNを結合 – 原言語側 … 入力単語の情報を蓄積 – 目的言語側 … 蓄積された情報を取り出しながら単語を生成 END runs he 走る は 彼 Encoder Decoder
  10. 10. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 11 Encoder-decoder 翻訳モデル (2) END runs he 走る は 彼 ● 埋め込み層 (embedding layer) – 特定の単語の意味をベクトルで表現
  11. 11. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 12 Encoder-decoder 翻訳モデル (3) END runs he 走る は 彼 ● 隠れ層 (hidden layer) – 単語の意味の蓄積・放出
  12. 12. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 13 Encoder-decoder 翻訳モデル (4) END runs he 走る は 彼 ● 出力層 (softmax) – 次に生成する単語の確率を推定
  13. 13. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 14 HANDS ON
  14. 14. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 15 Chainer で Encoder-decoder 翻訳 ● Chainer - http://chainer.org/ – ニューラルネットのフレームワーク – ソースコードの計算式がそのままニューラルネットの構造になる ● 複雑な形状のニューラルネットを記述するのに最適 は (一例、他の定式化も可能)
  15. 15. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 16 Chainer で Encoder-decoder 翻訳 ● Chainer - http://chainer.org/ – ニューラルネットのフレームワーク – ソースコードの計算式がそのままニューラルネットの構造になる ● 複雑な形状のニューラルネットを記述するのに最適 import numpy as np import chainer.functions as F from chainer import Variable W_xi = F.EmbedID(VOCAB, EMBED) W_ip = F.Linear(VOCAB, HIDDEN) W_pp = F.Linear(HIDDEN, HIDDEN) ... x = Variable(np.array([[w]], dtype=np.float32)) i = F.tanh(W_xi(x)) p = F.tanh(W_ip(i) + W_pp(p)) は
  16. 16. 15/12/10 Copyright (C) 2015 by Yusuke Oda, AHC-Lab, IS, NAIST 17 See Also ● ChainerとRNNと機械翻訳 - Qiita – http://qiita.com/odashi_t/items/a1be7c4964fbea6a116e ● スタンドアロンで動くニューラル翻訳 – https://github.com/odashi/chainer_examples – 現在Chainer1.4以前で対応 ● サンプルデータ – https://drive.google.com/open?id=0B3O7bgd3mym6VG9OVHRmRlBLbkk

    Be the first to comment

    Login to see the comments

  • guzuppe

    Dec. 10, 2015
  • YoTakezawa

    Dec. 10, 2015
  • ymorioka

    Dec. 11, 2015
  • TakahiroShimizuno

    Dec. 13, 2015
  • takahirosawada718

    Dec. 25, 2015
  • kentonozawa75

    Dec. 31, 2015
  • igarashimovic

    Mar. 22, 2016
  • ichiroex

    Mar. 24, 2016
  • green_air

    Apr. 15, 2016
  • keisukegoto92

    Aug. 4, 2016
  • ShuonanChen

    Nov. 30, 2016
  • MPEG_M

    Mar. 15, 2017
  • HiroshiKameya

    Apr. 20, 2017
  • nitorodake

    May. 17, 2017
  • 7undk

    Oct. 15, 2017
  • takashismz

    Dec. 21, 2017
  • yukiuchida6

    Mar. 21, 2018
  • yuichiaizawa18

    Aug. 24, 2018
  • geragera6

    Jan. 7, 2019

TIS株式会社のハンズオンで使用した講義資料です。

Views

Total views

10,325

On Slideshare

0

From embeds

0

Number of embeds

268

Actions

Downloads

84

Shares

0

Comments

0

Likes

19

×