Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

対話返答生成における個性の追加反映

9,156 views

Published on

自然言語処理研究会 (NL研) での発表資料です。対話エージェントに個性 (方言・熱さ等) を追加する技術で、深層学習を用いた対話返答文生成で元の個性を保持しつつ 個性を追加反映した返答文生成を行います。

Published in: Data & Analytics
  • Be the first to comment

対話返答生成における個性の追加反映

  1. 1. 1 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 対話返答生成における個性の追加反映 濱田 晃一*1 藤川 和樹*1 小林 颯介*2 菊池 悠太*2 海野 裕也*2 土田 正明*1 *1: 株式会社 ディー・エヌ・エー *2: 株式会社 Preferred Networks Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 第232回 自然言語処理研究会 2017/07/20
  2. 2. 2 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 背景 商用サービスの対話エージェントで 口調や発話内容含め個人性を制御することは重要
  3. 3. 3 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 背景 ブランドイメージの制御や商標キャラクターによる キャンペーンなどの需要が存在する 商用サービスの対話エージェントで 口調や発話内容含め個人性を制御することは重要
  4. 4. 4 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 背景 ハッカドール 1号 ブランドイメージの制御や商標キャラクターによる キャンペーンなどの需要が存在する パーソナルエンタメAI (2014年8月サービスリリース) 君にシンクロするニュースアプリ 情報収集・コンテンツ消費が捗るようにサポート 商用サービスの対話エージェントで 口調や発話内容含め個人性を制御することは重要
  5. 5. 5 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 背景 ・リーダー格 ・天真爛漫な頑張り屋 ・誰に対しても丁寧な口調で話す ・ちょっぴり舌足らず ・やる気が空回り失敗も日常茶飯事 ハッカドール 1号 ブランドイメージの制御や商標キャラクターによる キャンペーンなどの需要が存在する パーソナルエンタメAI (2014年8月サービスリリース) 個性 「マスターさんが捗れるように  お手伝いするのが役目なんですっ。」 君にシンクロするニュースアプリ 情報収集・コンテンツ消費が捗るようにサポート 「マスターさん意外と物知りなんですね。  わたし、見直しちゃいましたっ!」 商用サービスの対話エージェントで 口調や発話内容含め個人性を制御することは重要
  6. 6. 6 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 背景 ・リーダー格 ・天真爛漫な頑張り屋 ・誰に対しても丁寧な口調で話す ・ちょっぴり舌足らず ・やる気が空回り失敗も日常茶飯事 ハッカドール 1号 しぃな ブランドイメージの制御や商標キャラクターによる キャンペーンなどの需要が存在する パーソナルエンタメAI チャットルーム 盛り上げAI (2016年5月サービスリリース)(2014年8月サービスリリース) 個性 「マスターさんが捗れるように  お手伝いするのが役目なんですっ。」 君にシンクロするニュースアプリ 情報収集・コンテンツ消費が捗るようにサポート 「マスターさん意外と物知りなんですね。  わたし、見直しちゃいましたっ!」 商用サービスの対話エージェントで 口調や発話内容含め個人性を制御することは重要 会話が続かないチャットルームに ユーザとして入室、会話を盛り上げる
  7. 7. 7 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 背景 ・リーダー格 ・天真爛漫な頑張り屋 ・誰に対しても丁寧な口調で話す ・ちょっぴり舌足らず ・やる気が空回り失敗も日常茶飯事 ハッカドール 1号 しぃな ブランドイメージの制御や商標キャラクターによる キャンペーンなどの需要が存在する パーソナルエンタメAI チャットルーム 盛り上げAI (2016年5月サービスリリース)(2014年8月サービスリリース) 個性 個性 「暖かくなってきたね〜(*´ω`*)」「マスターさんが捗れるように  お手伝いするのが役目なんですっ。」 君にシンクロするニュースアプリ 情報収集・コンテンツ消費が捗るようにサポート 「落ち着いて~!! アワワ ヽ(□ ̄ヽ))...((ノ ̄□)ノ アワワ」 「マスターさん意外と物知りなんですね。  わたし、見直しちゃいましたっ!」 商用サービスの対話エージェントで 口調や発話内容含め個人性を制御することは重要 会話が続かないチャットルームに ユーザとして入室、会話を盛り上げる ・聞き上手 ・30代 ・子持ち ・三軒茶屋在住 ・しぃたけ好き
  8. 8. 8 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 背景 ・リーダー格 ・天真爛漫な頑張り屋 ・誰に対しても丁寧な口調で話す ・ちょっぴり舌足らず ・やる気が空回り失敗も日常茶飯事 ハッカドール 1号 しぃな ブランドイメージの制御や商標キャラクターによる キャンペーンなどの需要が存在する パーソナルエンタメAI チャットルーム 盛り上げAI (2016年5月サービスリリース)(2014年8月サービスリリース) 個性 個性 「暖かくなってきたね〜(*´ω`*)」「マスターさんが捗れるように  お手伝いするのが役目なんですっ。」 君にシンクロするニュースアプリ 情報収集・コンテンツ消費が捗るようにサポート 「落ち着いて~!! アワワ ヽ(□ ̄ヽ))...((ノ ̄□)ノ アワワ」 「マスターさん意外と物知りなんですね。  わたし、見直しちゃいましたっ!」 商用サービスの対話エージェントで 口調や発話内容含め個人性を制御することは重要 会話が続かないチャットルームに ユーザとして入室、会話を盛り上げる ・聞き上手 ・30代 ・子持ち ・三軒茶屋在住 ・しぃたけ好き
  9. 9. 9 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 元の個性 背景 入力文:「さて、とりあえず仕事始まる♪(*^^*) 」 「がんばってね!★ミ」 返答文 個性 元の個性に対して特定の個性要素を加えることで 用途に合わせて、個性を柔軟に変化させたい
  10. 10. 10 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 元の個性 関西でのイベント ⇒関西弁要素UP 背景 元の個性に対して特定の個性要素を加えることで 用途に合わせて、個性を柔軟に変化させたい 入力文:「さて、とりあえず仕事始まる♪(*^^*) 」 「がんばってね!★ミ」 「がんばってな!★ミ」 返答文 個性 個性
  11. 11. 11 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 元の個性 関西でのイベント ⇒関西弁要素UP 関西での体育祭イベント ⇒熱い頼れる先輩要素UP 背景 入力文:「さて、とりあえず仕事始まる♪(*^^*) 」 「がんばってね!★ミ」 「がんばってな!★ミ」 「がんばってな!君ならで きるで!!!」 返答文 個性 個性 個性 元の個性に対して特定の個性要素を加えることで 用途に合わせて、個性を柔軟に変化させたい
  12. 12. 12 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 元の個性 関西でのイベント ⇒関西弁要素UP 関西での体育祭イベント ⇒熱い頼れる先輩要素UP … 背景 入力文:「さて、とりあえず仕事始まる♪(*^^*) 」 「がんばってね!★ミ」 「がんばってな!★ミ」 「がんばってな!君ならで きるで!!!」 … 返答文 個性 個性 個性 元の個性に対して特定の個性要素を加えることで 用途に合わせて、個性を柔軟に変化させたい
  13. 13. 13 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 元の個性 関西でのイベント ⇒関西弁要素UP 関西での体育祭イベント ⇒熱い頼れる先輩要素UP … 背景 入力文:「さて、とりあえず仕事始まる♪(*^^*) 」 「がんばってね!★ミ」 「がんばってな!★ミ」 「がんばってな!君ならで きるで!!!」 … 返答文 個性 個性 個性 元の個性に対して特定の個性要素を加えることで 用途に合わせて、個性を柔軟に変化させたい (本研究において「個性の追加反映」と呼ぶ)
  14. 14. 14 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 元の個性 関西でのイベント ⇒関西弁要素UP 関西での体育祭イベント ⇒熱い頼れる先輩要素UP … 背景 入力文:「さて、とりあえず仕事始まる♪(*^^*) 」 「がんばってね!★ミ」 「がんばってな!★ミ」 「がんばってな!君ならで きるで!!!」 追加反映したい個性要素の各組み合わせごとに 大量の用例を作成することは高コストであるため避けたい … 返答文 個性 個性 個性 元の個性に対して特定の個性要素を加えることで 用途に合わせて、個性を柔軟に変化させたい (本研究において「個性の追加反映」と呼ぶ)
  15. 15. 15 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 元の個性 関西でのイベント ⇒関西弁要素UP 関西での体育祭イベント ⇒熱い頼れる先輩要素UP … 背景 入力文:「さて、とりあえず仕事始まる♪(*^^*) 」 「がんばってね!★ミ」 「がんばってな!★ミ」 「がんばってな!君ならで きるで!!!」 追加反映したい個性要素の各組み合わせごとに 大量の用例を作成することは高コストであるため避けたい … 返答文 個性 個性 個性 個性の追加反映を データ作成コストを抑えながら実現したい 元の個性に対して特定の個性要素を加えることで 用途に合わせて、個性を柔軟に変化させたい (本研究において「個性の追加反映」と呼ぶ)
  16. 16. 16 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 関連研究: 発話者ごとに一貫性のある返答生成モデル 発話者ごとの個性表現ベクトル、返答生成モデル を同時に学習 各個性表現ベクトルに応じて返答が一貫して変化する Li, J., Galley, et al. “A Persona-Based Neural Conversation Model.” In ACL 2016. Speaker Model による返答生成Speaker Model (Li+ 2016) ユーザ固有の背景情報・返答スタイル等の個性要素を 持ち一貫した返答生成を行う
  17. 17. 17 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 関連研究: 発話者ごとに一貫性のある返答生成モデル 発話者ごとの個性表現ベクトル、返答生成モデル を同時に学習 各個性表現ベクトルに応じて返答が一貫して変化する Li, J., Galley, et al. “A Persona-Based Neural Conversation Model.” In ACL 2016. Speaker Model による返答生成Speaker Model (Li+ 2016) ユーザ固有の背景情報・返答スタイル等の個性要素を 持ち一貫した返答生成を行う 個性表現ベクトルの入れ替えによる一貫性の評価のみ実施 個性の追加反映や合成については調べられていない
  18. 18. 18 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 関連研究: 表現ベクトルの演算による生成 表現ベクトルの演算による 意味的な合成 Mikolov, T., et al. “Distributed representations of words and phrases and their compositionality.” In NIPS 2013. 単語の意味表現: 差分ベクトルによる変換 Berlin Germany 国⇒首都 変換ベクトル France Paris 表現ベクトル 空間 (Word2Vec)
  19. 19. 19 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 関連研究: 表現ベクトルの演算による生成 表現ベクトルの演算による 意味的な合成 Mikolov, T., et al. “Distributed representations of words and phrases and their compositionality.” In NIPS 2013. 単語の意味表現: 差分ベクトルによる変換 画像生成: 画像表現ベクトル差分に要素追加 Berlin Germany France Paris 入力画像 眼鏡なし 画像集合 眼鏡あり 画像集合 表現ベクトル 空間 表現ベクトル 空間 Generator 出力画像 (眼鏡追加) 眼鏡追加 変換ベクトル Encoder Larsen, A. B. L., et al. “Autoencoding Beyond Pixels Using a Learned Similarity Metric”. In ICML 2016. (Word2Vec) 国⇒首都 変換ベクトル
  20. 20. 20 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 提案手法 熱い返答を する人 熱さ追加 変換ベクトル 変換対象ユーザ変換対象ユーザ 個性表現ベクトルの演算 による個性の追加反映 返答文の書き換え 3. Translation 返答文の書き換え による個性の追加反映 Speaker Model n 元の個性を保持しつつ、個性を追加反映した 対話返答文生成 熱い返答を する人 熱い返答を しない人 個性表現ベクトル空間 個性表現ベクトル空間 puid CONV pCONV pTARGET pSOURCE pTARGET 個性追加変換ベクトルによる変換 ユーザ間の内挿 1. Transformation 2. Interpolation uid puid puid pCONV uid
  21. 21. 21 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 提案手法 熱い返答を する人 熱さ追加 変換ベクトル 変換対象ユーザ変換対象ユーザ 個性表現ベクトルの演算 による個性の追加反映 返答文の書き換え 3. Translation 返答文の書き換え による個性の追加反映 Speaker Model n 元の個性を保持しつつ、個性を追加反映した 対話返答文生成 熱い返答を する人 熱い返答を しない人 個性表現ベクトル空間 個性表現ベクトル空間 puid CONV pCONV pTARGET pSOURCE pTARGET 個性追加変換ベクトルによる変換 ユーザ間の内挿 1. Transformation 2. Interpolation uid puid puid pCONV uid
  22. 22. 22 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 提案手法: 個性表現ベクトルの演算による個性の追加反映 個性表現ベクトルの演算により 個性を追加反映し、返答文生成を行う 熱さ追加 変換ベクトル 元の個性に 熱さが追加反映された 返答文 入力文 個性表現 ベクトル空間 熱い返答を しない人 熱い返答を する人 変換対象ユーザ p uid puid CONV puid CONV pTARGET pSOURCE
  23. 23. 23 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 提案手法: 個性表現ベクトルの演算による個性の追加反映 2種類の個性表現のベクトルの演算による 返答生成を試す 熱い返答を しない人 熱い返答を する人 熱さ追加 変換ベクトル 変換対象ユーザ 個性追加変換ベクトルによる変換 ユーザ間の内挿 1. Transformation 2. Interpolation 変換対象ユーザ 熱い返答を する人 puid CONV puid puid CONV puid puid CONV puid CONV puid puid pTARGET pSOURCE pTARGET puid CONV puid 個性表現ベクトル空間 個性表現ベクトル空間
  24. 24. 24 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 提案手法 熱い返答を する人 熱さ追加 変換ベクトル 変換対象ユーザ変換対象ユーザ 個性表現ベクトルの演算 による個性の追加反映 返答文の書き換え 3. Translation 返答文の書き換え による個性の追加反映 Speaker Model n 元の個性を保持しつつ、個性を追加反映した 対話返答文生成 熱い返答を する人 熱い返答を しない人 個性表現ベクトル空間 個性表現ベクトル空間 puid CONV pCONV pTARGET pSOURCE pTARGET 個性追加変換ベクトルによる変換 ユーザ間の内挿 1. Transformation 2. Interpolation uid puid puid pCONV uid
  25. 25. 25 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 提案手法 熱い返答を する人 熱さ追加 変換ベクトル 変換対象ユーザ変換対象ユーザ 個性表現ベクトルの演算 による個性の追加反映 返答文の書き換え 3. Translation 返答文の書き換え による個性の追加反映 Speaker Model n 元の個性を保持しつつ、個性を追加反映した 対話返答文生成 熱い返答を する人 熱い返答を しない人 個性表現ベクトル空間 個性表現ベクトル空間 puid CONV pCONV pTARGET pSOURCE pTARGET 個性追加変換ベクトルによる変換 ユーザ間の内挿 1. Transformation 2. Interpolation uid puid puid pCONV uid
  26. 26. 26 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 提案手法: 返答文の書き換えによる個性の追加反映 返答文の書き換え 追加個性ごとに変換モデルを作り、変換する 熱さが追加反映された 返答文 元となる返答文 熱さ追加 Encoder- Decoder 3. Translation n n-1 Cy
  27. 27. 27 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 提案手法 熱い返答を する人 熱さ追加 変換ベクトル 変換対象ユーザ変換対象ユーザ 個性表現ベクトルの演算 による個性の追加反映 返答文の書き換え 3. Translation 返答文の書き換え による個性の追加反映 Speaker Model n 元の個性を保持しつつ、個性を追加反映した 対話返答文生成 熱い返答を する人 熱い返答を しない人 個性表現ベクトル空間 個性表現ベクトル空間 puid CONV pCONV pTARGET pSOURCE pTARGET 個性追加変換ベクトルによる変換 ユーザ間の内挿 1. Transformation 2. Interpolation uid puid puid pCONV uid
  28. 28. 28 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 提案手法特徴 1. Transformation 2. Interpolation 3. Translation 概要 個性変換ベクトルを用いた 個性表現ベクトルの変換 2つの個性表現ベクトル の内挿 返答の書き換え ベース学 習モデル Speaker Model 不要 追加反映 に必要な データ ・追加したい個性を持つ対 話データ ・追加したい個性を持たな い対話データ 追加したい個性を持つ 対話データ 追加する個性要素ごとの 個性追加前→個性追加 後の返答文対訳データ 生成時の 入力 ・返答対象の入力文 ・元の個性表現ベクトル ・個性変換ベクトル (表現ベクトルの差分) ・返答対象の入力文 ・元の個性表現ベクトル ・追加反映対象とする個 性表現ベクトル 元となる返答文
  29. 29. 29 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 実験
  30. 30. 30 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. データセット 「Mobage みんなとチャットβ」のユーザ間対話ログを使用 個性の追加反映検証用に4種類のアノテーションデータを作成 データ セット 対話件数 ユーザ数 概要 Neutralからの変更 Mobage 226,081 1,379 発話者・返答者IDの付いた Mobage みん なとチャットβ上のユーザ間の対話ログ - Neutral 6,200 1 Mobageから6200件の発話を抽出し 個性となり得る要素(方言、顔文字など)を 自然な範囲で除外 - Kaomoji 6,200 1 Neutralの返答文に対して顔文字や記号な どの装飾文字自然な範囲で付与 比較的規則的で文そのものを変更 しない程度の変更 Kansai 6,200 1 Neutralの返答文に対して関西弁を付与 軽微な単語の変更や語末の表現の 変更 Aniki 6,200 1 Neutralの返答文に対して熱さを付与 表現全体が大きく変わる可能性の ある変更
  31. 31. 31 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. データセット 「Mobage みんなとチャットβ」のユーザ間対話ログを使用 個性の追加反映検証用に4種類のアノテーションデータを作成 データ セット 対話件数 ユーザ数 概要 Neutralからの変更 Mobage 226,081 1,379 発話者・返答者IDの付いた Mobage みん なとチャットβ上のユーザ間の対話ログ - Neutral 6,200 1 Mobageから6200件の発話を抽出し 個性となり得る要素(方言、顔文字など)を 自然な範囲で除外 - Kaomoji 6,200 1 Neutralの返答文に対して顔文字や記号な どの装飾文字自然な範囲で付与 比較的規則的で文そのものを変更 しない程度の変更 Kansai 6,200 1 Neutralの返答文に対して関西弁を付与 軽微な単語の変更や語末の表現の 変更 Aniki 6,200 1 Neutralの返答文に対して熱さを付与 表現全体が大きく変わる可能性の ある変更
  32. 32. 32 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. データセット 「Mobage みんなとチャットβ」のユーザ間対話ログを使用 個性の追加反映検証用に4種類のアノテーションデータを作成 データ セット 対話件数 ユーザ数 概要 Neutralからの変更 Mobage 226,081 1,379 発話者・返答者IDの付いた Mobage みん なとチャットβ上のユーザ間の対話ログ - Neutral 6,200 1 Mobageから6200件の発話を抽出し 個性となり得る要素(方言、顔文字など)を 自然な範囲で除外 - Kaomoji 6,200 1 Neutralの返答文に対して顔文字や記号な どの装飾文字自然な範囲で付与 比較的規則的で文そのものを変更 しない程度の変更 Kansai 6,200 1 Neutralの返答文に対して関西弁を付与 軽微な単語の変更や語末の表現の 変更 Aniki 6,200 1 Neutralの返答文に対して熱さを付与 表現全体が大きく変わる可能性の ある変更
  33. 33. 33 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. データセット 「Mobage みんなとチャットβ」のユーザ間対話ログを使用 個性の追加反映検証用に4種類のアノテーションデータを作成 データ セット 対話件数 ユーザ数 概要 Neutralからの変更 Mobage 226,081 1,379 発話者・返答者IDの付いた Mobage みん なとチャットβ上のユーザ間の対話ログ - Neutral 6,200 1 Mobageから6200件の発話を抽出し 個性となり得る要素(方言、顔文字など)を 自然な範囲で除外 - Kaomoji 6,200 1 Neutralの返答文に対して顔文字や記号な どの装飾文字自然な範囲で付与 比較的規則的で文そのものを変更 しない程度の変更 Kansai 6,200 1 Neutralの返答文に対して関西弁を付与 軽微な単語の変更や語末の表現の 変更 Aniki 6,200 1 Neutralの返答文に対して熱さを付与 表現全体が大きく変わる可能性の ある変更 追加個性の反映用に作成した対訳例
  34. 34. 34 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 実験設定 1. Transformation 2. Interpolation 3. Translation Encoder-Decoder 3層LSTM (隠れ層数: 1000, 単語埋込次元数:1000) 語彙数 20000 (MeCabの単語分割. 頻度上位20000単語) 最適化 Adam, バッチサイズ: 128, Dropout Rate: 0.2 発話文 →返答文 生成学習 モデル Speaker Model Encoder-Decoder データ 分割 Mobage, Neutral, Kaomoji, Kansai, Aniki のデータを、ユーザごとに、訓練 : 開発: テスト = 8: 1: 1に分割し、混合。 データ 入力文、返答者ID、返答文 返答文 Early Stopping 最大 50 epoch まで学習し、開発データのBLEU・生成例の主観評価で Early Stopping 返答文→返答文 変換学習 なし ・事前学習 Mobageの全返答文に対する Auto Encoder学習 ・Fine-tuning Neutralの返答文 → 個性追加反映後返答文 といった変換をKaomoji, Kansai, Aniki, それぞれに対 して行う
  35. 35. 35 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 評価方法 3名の主観評価のFleiss’ Kappa 値 n  元の返答にユーザの個性が表れていると考え、返答の内容は変えずに目的の 個性が反映できる割合を評価する n  3つの手法の出力結果を混ぜ、被験者3名に以下2つの観点で独立に   評価してもらい、多数決で評価を確定した 1.  内容保持: 返答内容が基本的には変わっていないか 2.  個性付与: 追加対象とした個性が反映されているか n  評価データは、目的とする個性の追加反映後の返答が思い浮かぶ   <入力文, 返答者ID, 返答文>を人手で選出して作成した (次スライド) n  開発データの生成例を見て個性の反映度合いのパラメタαを調整した n  Transformation : Kaomoji: 2.0, Kansai: 2.0, Aniki : 2.0 n  Interpolation : Kaomoji: 0.75, Kansai: 0.75, Aniki : 0.5 n  テストデータに対して返答文をビームサーチで生成し、Kaomoji, Kansai, Anikiで   それぞれ100例選出した
  36. 36. 36 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 評価用データ選出の依頼時に示した基準と実例 n  Kaomoji: 返答文に顔文字がなければ問題なし n  OK: 行きたいよね n  OK: どうでしょう n  NG: おはようございます (*・ω・*)__)ペコリ n  NG: ありがとう (^ω^) n  Kansai: 語尾を変えたり、追加することで関西弁にできる返答文 n  OK: あ、そうなんだ n  OK: 俺も好き n  NG: いらっしゃいませ n  NG: 今晩は! n  Aniki:「豪快!」「兄貴!」「姉御!」のように感じない返答文なら問題なし n  OK: だめ n  OK: 漢方薬だからw n  NG: みせてくれ! n  NG: そか!
  37. 37. 37 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 主観評価結果
  38. 38. 38 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 主観評価結果: 個性の反映割合 個性の反映の割合には、大きな違いはなかった 生成例 Kaomoji Kansai Aniki 入力文 はじめましてよろしくね 沖縄は年に数回かな まあまあかかるね(́・д・`)笑 関東住み? Speaker Model よろしくー いいねー☆☆☆☆ そやで(笑) Transformation こちらこそヨロ (`・ω・́)スク! 沖縄ええなぁ うちは東京だぜ! Interpolation よろしくです! ほお〜 ちがうよ〜 Translation よろしくー ええねー☆☆☆☆ そうだぞ! 入力文 でわでわ〜 トコトコ(((((*́・ω・) でも、お部屋でエアコン ガンガンやろ? 今から行ってくるよ、仕事(・∀・) Speaker Model はーい そだよ〜(∩́∀`)∩ 頑張れ頑張れ Transformation いー! そやで おつかれだな! Interpolation フリフリ☆*.・(*ゝ∀・*)ノ そぉなん? お疲れ様です Translation はーい(*・ω・)ノ せやで〜(∩́∀`)∩ 頑張れ頑張れ! 個性が反映された割合 Kaomoji Kansai Aniki 1. Transformation 76% 50% 30% 2. Interpolation 59% 57% 20% 3. Translation 77% 55% 25%
  39. 39. 39 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 主観評価結果: 返答内容の保持 Translationは内容保持において他手法よりも高い評価 返答文の内容が保持された割合 個性が反映され、かつ、返答文の内容が保持された割合 Kaomoji Kansai Aniki 1. Transformation 41% 35% 26% 2. Interpolation 30% 18% 16% 3. Translation 74% 79% 96% Kaomoji Kansai Aniki 1. Transformation 33% 21% 11% 2. Interpolation 18% 17% 4% 3. Translation 59% 45% 22%
  40. 40. 40 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 生成例の分析
  41. 41. 41 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 分析: 生成例の特徴: Translation 元となる返答文の語彙を維持しやすい 生成例 Kaomoji Kansai Aniki 発話 はじめましてよろしくね 沖縄は年に数回かな まあまあかかるね (́・д・`)笑 関東住み? Speaker Model よろしくー いいねー☆☆☆☆ そやで(笑) Transformation こちらこそ ヨロ (`・ω・́)スク! 沖縄ええなぁ うちは東京だぜ! Interpolation よろしくです! ほお〜 ちがうよ〜 Translation よろしくー ええねー☆☆☆☆ そうだぞ! 発話 でわでわ〜 トコトコ(((((*́・ω・) でも、お部屋でエアコン ガンガンやろ? 今から行ってくるよ、仕事 (・∀・) Speaker Model はーい そだよ〜(∩́∀`)∩ 頑張れ頑張れ Transformation いー! そやで おつかれだな! Interpolation フリフリ☆*.・(*ゝ∀・*)ノ そぉなん? お疲れ様です Translation はーい(*・ω・)ノ せやで〜(∩́∀`)∩ 頑張れ頑張れ!
  42. 42. 42 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 分析: 生成例の特徴: Translation 元となる返答文の語彙を維持しやすい 生成例 Kaomoji Kansai Aniki 発話 はじめましてよろしくね 沖縄は年に数回かな まあまあかかるね (́・д・`)笑 関東住み? Speaker Model よろしくー いいねー☆☆☆☆ そやで(笑) Transformation こちらこそ ヨロ (`・ω・́)スク! 沖縄ええなぁ うちは東京だぜ! Interpolation よろしくです! ほお〜 ちがうよ〜 Translation よろしくー ええねー☆☆☆☆ そうだぞ! 発話 でわでわ〜 トコトコ(((((*́・ω・) でも、お部屋でエアコン ガンガンやろ? 今から行ってくるよ、仕事 (・∀・) Speaker Model はーい そだよ〜(∩́∀`)∩ 頑張れ頑張れ Transformation いー! そやで おつかれだな! Interpolation フリフリ☆*.・(*ゝ∀・*)ノ そぉなん? お疲れ様です Translation はーい(*・ω・)ノ せやで〜(∩́∀`)∩ 頑張れ頑張れ!
  43. 43. 43 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 分析: 生成例の特徴: Translation 非文が生成される割合が高い 追加個性 入力文 元となる返答文 返答文(変換後) Kaomoji 晩ごはん 何? 何ィェ Kansai そーそー、福祉です(o^^o) そうなんだね(*´艸`) そぉなんやんやね(艸`) ごめんなさい!!(>_<) なんだよ なんやで 幸せ願う(。>人<)??? 幸せな人多いよね どぉな人歳やな 熱帯魚見ながら一杯 いいなー! いいなーで! Aniki おつかれさまです☆ お疲れさまです(*^^*) おうか! かわいい ありがと(*ノωノ)テレッ うむなうな!なんて負けん! トコトコ(((((*´・ω・) おかえり(´▽`)ノ おかえりたしかに筋肉元気ぜ! 後ろからハグされるのはドキッって するよね? うん(^.^) うむじゃねーか! Translation で非文が生成された例 非文が生成されたのは Kaomoji, Kansai, Aniki の計300件の出力結果のうち、 Translation: 9.6%、Transformation: 4.3%、Interpolation: 0.3%
  44. 44. 44 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 分析: 生成例の特徴: Transformation, Interpolation 強弱をつけた個性の追加反映を行える 入力文 元は心配していたが 応援に変換 個性変換ベクトルを 強めることにより ※今回の「返答文の内容保持」の視点では、内容保持されていないが個性反映され、入力文に対しては適切な返答 ※ Interpolation は2ユーザ間の内挿なので、α>1.0 についての実験は行っていない
  45. 45. 45 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 分析: 生成例の特徴: Transformation, Interpolation Translation と違い、入力文を踏まえた文生成を行うので 返答文を大きく変えても、入力文との対応関係が維持されやすい 例追加する 関西弁の個性追加しつつ 沖縄に対して 適切に答えられている 入力文 ※今回の「返答文の内容保持」の視点では、内容保持されていないが個性反映され、入力文に対しては適切な返答 ※ Interpolation は2ユーザ間の内挿なので、α>1.0 についての実験は行っていない
  46. 46. 46 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 分析: 生成例の特徴: Transformation, Interpolation ※今回の「返答文の内容保持」の視点では、内容保持されていないが個性反映され、入力文に対しては適切な返答 関西弁の 維持 肯定内容の 維持 入力文の「関東」に対する 対応関係の維持 熱血要素の 追加反映 入力文 Translation と違い、入力文を踏まえた文生成を行うので 返答文を大きく変えても、入力文との対応関係が維持されやすい
  47. 47. 47 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. まとめ・今後
  48. 48. 48 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. まとめ 熱い返答を する人 熱さ追加 変換ベクトル 変換対象ユーザ変換対象ユーザ 個性表現ベクトルの演算 による個性の追加反映 返答文の書き換え 3. Translation 返答文の書き換え による個性の追加反映 Speaker Model n 元の個性を保持しつつ、個性を追加反映した 3つの対話返答文生成を提案・評価 熱い返答を する人 熱い返答を しない人 個性表現ベクトル空間 個性表現ベクトル空間 puid CONV pCONV pTARGET pSOURCE pTARGET 個性追加変換ベクトルによる変換 ユーザ間の内挿 1. Transformation 2. Interpolation uid puid puid pCONV uid
  49. 49. 49 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. まとめ:結果 1. Transformation 2. Interpolation 3. Translation 概要 個性変換ベクトルを 用いた個性表現ベク トルの変換 2つの個性表現ベクトル の内挿 返答の書き換え 追加反映 に必要な データ ・追加したい個性を 持つ対話データ ・追加したい個性を 持たない対話データ 追加したい個性を持つ 対話データ 追加する個性要素ごとの 個性追加前→個性追加後の 返答文対訳データ 個性の反 映 個性の反映の割合には、大きな違いはなかった 内容の維 持 Translationに続く 2番目の評価 最も悪い評価 3手法で最高の評価 生成長所 ・入力文を踏まえた返答生成を行うので 入力文との対応関係が維持されやすい ・強弱をつけ、個性の追加反映を行える ・非文の生成割合が低い ・返答文の内容が保持  されやすい 生成課題 ・返答内容の内容語の保持性が低い。 ・非文の生成割合が 他手法より高い。 ※Transformation, Interpolation には生成文に対する定性的な差が見られなかった
  50. 50. 50 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. まとめ:結果 1. Transformation 2. Interpolation 3. Translation 概要 個性変換ベクトルを 用いた個性表現ベク トルの変換 2つの個性表現ベクトル の内挿 返答の書き換え 追加反映 に必要な データ ・追加したい個性を 持つ対話データ ・追加したい個性を 持たない対話データ 追加したい個性を持つ 対話データ 追加する個性要素ごとの 個性追加前→個性追加後の 返答文対訳データ 個性の反 映 個性の反映の割合には、大きな違いはなかった 内容の維 持 Translationに続く 2番目の評価 最も悪い評価 3手法で最高の評価 生成長所 ・入力文を踏まえた返答生成を行うので 入力文との対応関係が維持されやすい ・強弱をつけ、個性の追加反映を行える ・非文の生成割合が低い ・返答文の内容が保持  されやすい 生成課題 ・返答内容の内容語の保持性が低い。 ・非文の生成割合が 他手法より高い。 ※Transformation, Interpolation には生成文に対する定性的な差が見られなかった
  51. 51. 51 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. まとめ:結果 1. Transformation 2. Interpolation 3. Translation 概要 個性変換ベクトルを 用いた個性表現ベク トルの変換 2つの個性表現ベクトル の内挿 返答の書き換え 追加反映 に必要な データ ・追加したい個性を 持つ対話データ ・追加したい個性を 持たない対話データ 追加したい個性を持つ 対話データ 追加する個性要素ごとの 個性追加前→個性追加後の 返答文対訳データ 個性の反 映 個性の反映の割合には、大きな違いはなかった 内容の維 持 Translationに続く 2番目の評価 最も悪い評価 3手法で最高の評価 生成長所 ・入力文を踏まえた返答生成を行うので 入力文との対応関係が維持されやすい ・強弱をつけ、個性の追加反映を行える ・非文の生成割合が低い ・返答文の内容が保持  されやすい 生成課題 ・返答内容の内容語の保持性が低い。 ・非文の生成割合が 他手法より高い。 ※Transformation, Interpolation には生成文に対する定性的な差が見られなかった
  52. 52. 52 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. まとめ:結果 1. Transformation 2. Interpolation 3. Translation 概要 個性変換ベクトルを 用いた個性表現ベク トルの変換 2つの個性表現ベクトル の内挿 返答の書き換え 追加反映 に必要な データ ・追加したい個性を 持つ対話データ ・追加したい個性を 持たない対話データ 追加したい個性を持つ 対話データ 追加する個性要素ごとの 個性追加前→個性追加後の 返答文対訳データ 個性の反 映 個性の反映の割合には、大きな違いはなかった 内容の維 持 Translationに続く 2番目の評価 最も悪い評価 3手法で最高の評価 生成長所 ・入力文を踏まえた返答生成を行うので 入力文との対応関係が維持されやすい ・強弱をつけ、個性の追加反映を行える ・非文の生成割合が低い ・返答文の内容が保持  されやすい 生成課題 ・返答内容の内容語の保持性が低い。 ・非文の生成割合が 他手法より高い。 ※Transformation, Interpolation には生成文に対する定性的な差が見られなかった
  53. 53. 53 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. まとめ:結果 1. Transformation 2. Interpolation 3. Translation 概要 個性変換ベクトルを 用いた個性表現ベク トルの変換 2つの個性表現ベクトル の内挿 返答の書き換え 追加反映 に必要な データ ・追加したい個性を 持つ対話データ ・追加したい個性を 持たない対話データ 追加したい個性を持つ 対話データ 追加する個性要素ごとの 個性追加前→個性追加後の 返答文対訳データ 個性の反 映 個性の反映の割合には、大きな違いはなかった 内容の維 持 Translationに続く 2番目の評価 最も悪い評価 3手法で最高の評価 生成長所 ・入力文を踏まえた返答生成を行うので 入力文との対応関係が維持されやすい ・強弱をつけ、個性の追加反映を行える ・非文の生成割合が低い ・返答文の内容が保持  されやすい 生成課題 ・返答内容の内容語の保持性が低い。 ・非文の生成割合が 他手法より高い。 ※Transformation, Interpolation には生成文に対する定性的な差が見られなかった
  54. 54. 54 Copyright (C) 2017 DeNA Co.,Ltd. All Rights Reserved. 今後 ・より多様な個性に対して適用対象を広げていく ・複数の個性要素の追加についての検証を行う ・各手法で分かった特性を組合せ、  より適切な個性の追加反映を検討していく

×