Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Towards Knowledge-Based Personalized Product Description Generation in E-commerce
Similar to Towards Knowledge-Based Personalized Product Description Generation in E-commerce (20)
More from harmonylab
More from harmonylab (20)
Recently uploaded
Recently uploaded (11)
Towards Knowledge-Based Personalized Product Description Generation in E-commerce
- 1. 論文紹介 Towards Knowledge-Based Personalized Product Description Generation in E-commerce 北海道大学大学院情報科学院 調和系工学研究室 博士1年 吉田拓海 5月27日(水)
- 2. 論文情報 • タイトル – Towards Knowledge-Based Personalized Product Description Generation in E-commerce • 学会 – KDD2019(Applied Data Science Track Papers) • 著者 – Qibin Chen1*, Junyang Lin2,3*, Yichang Zhang3, Hongxia Yang3†, Jingren Zhou3, Jie Tang1† • 1Department of Computer Science and Technology, Tsighua University • 2School of Foreign Languages, Peking University • 3Alibaba Group • *These authors contributed equally to this work • †Corresponding Authors • 実験コード – https://github.com/THUDM/KOBE 1
- 3. 概要 • KnOwledge Based pErsonalized (KOBE)モデルを提案 – Transformerを用いたEncoder-Decoderモデル – Attribute Fusion (属性の融合) – Knowledge Incorporation (外部知識の取入れ) 2 パーソナライズされた商品説明文を生成する
- 4. 商品のタイトルと説明文（例） • タイトル – 九六致情侣套头复古毛衣韩版宽松男生毛线衫男兔绒包芯纱针织衫潮 • 説明文 – 这是一款复古文艺的针织毛衣，时尚百搭的款式，颜色百搭面料舒适， 给人冬日里暖暖的感觉，无论是任何的肤色都相当好搭配，穿起来更 加有型，时尚感爆棚。 3
- 5. Introduction • 電子商取引(EC)では商品説明文が重要 – 物理的な店舗のように販売員と顧客が対面で会話できない • これまでのECサイトでの商品説明文 – 退屈で、あまり効果的でないものが手動で作成（時間がかかる） • 商品説明文に求められるもの – 関連する知識と正確な商品情報が含まれている – 顧客の好みに基づいてパーソナライズされ、顧客の興味を促進する 4
- 6. Introduction • 本稿の貢献 – ニューラル手法とseq2seq学習を商品説明文の生成に適用 – パーソナライズされた商品説明文に注目し、 生成の質を向上させるために商品属性と外部知識を利用した 新しいモデルKOBEを提案 – 商品説明文生成のためのデータセット(TaoDescribe)の構築 – 実験の結果、パーソナライズされた有益な説明文を生成できること を実証 5
- 7. 提案モデル(KOBE) • 商品タイトルから説明文を自動生成 6 入力 出力 商品タイトル 𝒙 = (𝑥1, 𝑥2, … , 𝑥 𝑛) 商品説明文 𝒚 = 𝑦1, 𝑦2, … , 𝑦 𝑚 Encoder-Decoder (Transformer) Baseline Model Baseline Modelの限界 • 一般的で曖昧な記述をすることが多く、つまらなくて使い物にならない – ユーザの好みを考慮していない • 興味深く有益な説明文を生成するためには商品タイトルだけでは不十分 – 例：樹脂ランプの説明文 • 樹脂の特徴などの知識を用いることでより情報量の多い説明文を生成可能
- 8. 提案モデル(KOBE) • 商品タイトルから説明文を自動生成 • Attribute Fusion パーソナライゼーションの実現 • Knowledge Incorporation 生成の情報性の向上 7 KOBE Model 入力 出力 商品タイトル 𝒙 = (𝑥1, 𝑥2, … , 𝑥 𝑛) 属性 𝒂 = (𝑎1, 𝑎2) 外部知識 𝒘 = (𝑤1, 𝑤2, … , 𝑤 𝑢) 商品説明文 𝒚 = 𝑦1, 𝑦2, … , 𝑦 𝑚 Encoder-Decoder (Transformer) KOBEモデルの2つの工夫
- 9. 提案モデル(KOBE) アーキテクチャ 8 外部知識 属性商品タイトル 商品説明文 商品説明文
- 10. Attribute Fusion • 商品タイトルだけではなく特定の属性(Aspect, User Category) を“flavor”として取り込む – Aspect(𝐴1) • 機能、外観といった商品の側面 – User Category(𝐴2) • 興味を示すユーザカテゴリ 9
- 11. Attribute Fusion (Aspect) • Aspectの選択とアノテーション – データの統計量と専門家の経験から 𝐴1 = 3とした – 説明文からAspectを抽出する • 全ての記述を抽出しword2vecによって単語ベクトルを求める • 各形容詞について各Aspect単語との余弦距離を計算し 類似度スコア求める（𝑠1, 𝑠2, … , 𝑠|𝐴1|） • 形容詞を類似度スコアが最も高いAspectに割り当てる – max 𝑠1, … , 𝑠 𝐴1 < 𝛾∑𝑠 𝑘 の場合はその形容詞はどのAspectにも分類 できないことを意味する • 説明とAspectに属する形容詞の集合との意味的距離(semantic distance)に基づいてアノテーション 10 表 3つのAspectとそれに属する形容詞数と例 図 各単語ベクトルのt-SNEによる可視化
- 12. Attribute Fusion (User Category) • 著者らのECサイトではユーザは”interest tag”が付与されている – “interest tag”は41種（詳細不明） 11 interest tag user category ・説明文をクリック、長く滞在したユーザ の主要なグループに応じてアノテーション ・出現回数が5回以下の”User Category”は <UNK>に置き換え (結果24種に) ・Hardなラベルの方が単純で効果的 ユーザ 説明文 … … 説明文のアノテーション
- 13. Attribute Fusion (User Category) • 著者らのデータセットではフィードバックが非常に疎 – 説明文𝑌とは異なる文章データ𝑍(詳細不明)を収集 – 𝑍上で”User Category”分類器𝑀を学習 • CNNベースの分類器[1] – 分類器𝑀で説明文𝑌をアノテーション 12 説明文𝑌謎文章𝑍 User Category 分類器𝑀 学習 アノテーション 表 𝑍におけるUser Categoryの出現頻度 [1] Yoon Kim. 2014. Convolutional neural networks for sentence classification. arXiv preprint arXiv:1408.5882 (2014).
- 14. Attribute Fusion • タイトル𝒙のEmbeddingに属性𝒂のEmbeddingを追加する – Aspect属性𝒂 𝟏のEmbeddingとUser Category属性𝒂 𝟐のEmbedding を平均化して𝒆 𝒂𝒕𝒕𝒓を取得する – タイトル𝒙のEmbedding(𝑒 = (𝑒1, 𝑒2, … , 𝑒 𝑛 ))の各タイムステップ𝑖で 𝑒𝑖に𝑒 𝑎𝑡𝑡𝑟を追加する • 後述の実験で色々比較するが上の方法が一番良い 13
- 15. Knowledge Incorporation • 興味深く有益な説明文を生成するためには 基本的な商品情報だけでは不十分 – 例：樹脂ランプの説明文の生成 • 樹脂の特徴などの知識を用いることで、情報量の多い説明文を生成 14
- 16. Knowledge Incorporation • Knowledge Retrieval – 中国最大規模の構造知識グラフCN-Dpedia[1]から知識𝑤を取得 • 仮定：商品タイトルに含まれる各単語の関連知識は 商品そのものに関連している • 各商品について5個ランダム抽出し<SEP>トークンで連結 15 CN-Dpedia[1] [1] Bo Xu, Yong Xu, Jiaqing Liang, Chenhao Xie, Bin Liang, Wanyun Cui, and Yanghua Xiao. 2017. CN-DBpedia: A never-ending Chinese knowledge extraction system. In IEA/AIE’19. Springer, 428–438. 商品タイトルの単語𝑥𝑖 𝑣𝑖 𝑤𝑖 1 𝑤𝑖 2 𝑤𝑖 𝑘 … 知識𝑤𝑖 KOBE (提案モデル)
- 17. Knowledge Incorporation • Knowledge Encoding and Combination – Knowledge Encoder(Transformer)で知識𝒘を 高レベル表現𝒖にエンコード – 次にBiDAF[1]を適用して2種類の表現を組み合わせる • タイトル𝒙の表現𝒉 と 知識𝒘の表現𝒖 16 [1] Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, and Hannaneh Hajishirzi. 2016. Bidirectional attention flow for machine comprehension. arXiv preprint arXiv:1611.01603 (2016).
- 18. Knowledge Incorporation • Knowledge Encoding and Combination – 具体的には2つの方向のattentionを計算 • タイトルから知識への注意 𝒂 • 知識からタイトルへの注意 𝒃 – これらのattentionは知識𝑤の表現𝑢 ∈ ℝ 𝑢×𝑑と タイトル𝑥の表現ℎ ∈ ℝ 𝑛×𝑑間の類似度行列𝑆 ∈ ℝ 𝑛×𝑢から導出される • 𝛼：2つのベクトルの類似度を計算 – 𝛼 ℎ, 𝑢 = 𝑤𝑆 𝑇 ℎ; 𝑢; ℎ ∘ 𝑢 » 𝑤𝑆 ∈ ℝ3𝑑 ：学習可能な重みベクトル » ∘：要素積 » ;：ベクトルの結合 17
- 19. Knowledge Incorporation 18 商品タイトル 𝒙 = (𝑥1, … 𝑥 𝑛) 知識 𝒘 = (𝑤1, … 𝑤 𝑢) Transformer Encoder Transformer Encoder 𝒉 ∈ ℝ 𝑛×𝑑 𝒖 ∈ ℝ 𝑢×𝑑 𝑺 ∈ ℝ 𝑛×𝑢 𝒂𝑖 = softmax 𝑆𝑖: 𝑢i = 𝑘 𝑎𝑖𝑘 𝑢 𝑘 𝒖 ∈ ℝ 𝑛×𝑑 𝑺 ∈ ℝ 𝑛×𝑢 𝒃 = softmax max(𝑆𝑖:) ℎ = 𝑘 𝑏 𝑘ℎ 𝑘 𝒉 ∈ ℝ 𝑛×𝑑 最終的に得られる表現 ℎ; 𝑢; ℎ ∘ 𝑢; ℎ ∘ ℎ ∈ ℝ4𝑑×𝑇 max softmax softmax
- 20. 実験 データセット • データセット“TaoDescribe“を構築 – 中国の大規模電子商取引サイト“淘宝網(Taobao)”から収集 • 商品情報(商品のタイトル、Aspect、ユーザカテゴリ)と商品説明文 – 2013年11月から2018年12月のデータ – データ前処理 • 商品タイトル、説明文が長すぎるペアは破棄 – タイトル100トークン以上、説明文150トークン以上 • データセット中での出現回数が5回以下のトークンを <UNK>トークンで置換 – 最終的なインスタンス(𝑥,𝑦,𝑎,𝑤)数：2,129,187 19 データ数 train 2,2114,034 validation 9,917 test 5,236 語彙数 タイトル 5,428 説明文 9,917 平均トークン数 タイトル 31.4 説明文 90.2
- 21. 実験 • システムの比較 – Baseline • 属性𝑎、知識𝑤を考慮しないモデル – Attr-D(Dedicated) • Ficler and Godbergに倣ったモデル • データの各サブセットに対してそれ専門のモデルを学習 • Aspectのみで専門モデルを学習（データ量の関係） – Attr-S(Source token) • Sennrichらに倣ったモデル • 属性𝑎を特殊なトークンとして原文に追加 – Attr-T(start of Target sequence) • target sequenceで属性固有の開始tokenを使用 – Attr-A(Add) • 各タイムステップでタイトルのEmbeddingに 属性のEmbeddingを追加する(途中で説明したモノ) • Aspectのみ、User Categoryのみ、両方使用の3つを比較 • 提案モデルKOBEはAttr-A(Both)とKow-BiAttn 20
- 22. 実験 Hyperparameters • Hyperparameters – Encoder-Decoder • six-layer Transformer Encoder • two-layer Transformer Decoder – input embedding • 𝑑 𝑚𝑜𝑑𝑒𝑙 = 512 – Transformer FNN inner representation size • 𝑑 𝑓𝑓 = 2048 – activation function • ReLU – batch size • 64 – optimizer • Adam(𝛽1 = 0.9, 𝛽2 = 0.998, 𝜖 = 1 × 10−9 , 𝑙𝑒𝑎𝑛𝑖𝑛𝑔 𝑟𝑎𝑡𝑒 = 1 × 10−9 ) – gradient clipping • [-1, 1] – regularization • dropout(p=0.1) – beam search size(inference) • 10 21
- 23. 実験 Hardware Software • Hardware – CPU • Intel(R) Xeon(R) Platinum 8163 CPU @ 2.50GHz, 512GB RAM – GPU • 8 NVIDIA V100-SXM2-16GB GPUs – 実験には約3日かかった(multi-GPU setting) • consumer-grade single GPU(例:Titan X GPU)なら4日くらい(予想) • Software – Pytorch (version 0.4.1) – Python 3.6 – 実験のコード • https://github.com/THUDM/KOBE 22
- 24. 実験 評価指標 • BLEU – 生成文の正確さを評価 • Lexical Diversity(語彙多様性) – 生成文の多様性を評価 – 文章生成の課題は多様性のない安全な出力を生成すること – テストセット上で生成されたn-gramの数 • Attribute Capturing(属性の捕捉) – 生成文がパーソナライズされた文章になってるか （生成文から入力属性が復元できるかを評価する） – 生成文から入力属性を予測、予測精度によって評価 • Aspect – 説明文アノテーションに使用したアルゴリズムで予測 • User Category – 𝑀:説明文アノテーションに使用した分類器で予測 23
- 25. 実験結果 Does Attribute Fusion improve generation quality? • Attr-A(Both)はBaselineよりも+0.7 • このBLEUスコアの向上は注目に値する – 属性はカテゴリカルで商品に関連する情報を殆ど含まない – 属性はオラクルとして機能する • ユーザの好み、カテゴリに応じて属性を指定する設定をシミュレート 24 Attribute FusionによってBLEUスコア向上
- 26. 実験結果 Do Attribute Fusion and Knowledge Incorporation improve generation diversity? 25 Attribute FusionによってDiversity(多様性)が向上
- 27. 実験結果 Do Attribute Fusion and Knowledge Incorporation improve generation diversity? 26 Knowledge IncorporationによってDiversity(多様性)が向上
- 28. 実験結果 Does our model capture characteristics of different attributes? • Baselineは精度が低い – 説明文が興味のあるユーザグループと一致していない可能性が高い • 提案手法では精度が高い – 属性を反映した記述が生成できている 27 提案モデル(KOBE)は意図した属性を反映した説明文を生成している
- 29. 実験結果 Ablation Study • Ablation Study – 上から順次削除(一番下はBaseline) – konwledgeを削除すると • BLEUは上昇、商品と関連性が高くない外部知識はモデルの性能を損な う可能性がある（多様性には貢献） – user categoryを削除すると • BLEUが減少、多様性も減少 – aspectも削除すると • また減少、属性は多様性に重要な貢献をしている – 3つの要素はBLEUを犠牲にすることなく多様性(情報性)を大幅に上 昇 28
- 30. 実験結果 Human Evaluation • テストセットの一部で人間による評価を実施 – システムに関する予備知識を持たない人に配布 • 商品タイトル、Baselineの生成文、KOBE(提案手法)の生成文 – 3項目について1~5でスコアリング 29 Fluencyを犠牲にすることなくDiversityの向上(Fluencyも高い+0.17) Overall Qualityについても明らかな優位性を示す(+0.13) Fluency 記述の流暢さ Diversity 記述の多様性、競争的な内容を含んでいるか Overall Quality 記述の合理性（世界の知識と一致しているか）
- 32. 実験結果 生成文例（異なるUser Categoryによる比較） 31 ユーザカテゴリに応じて異なる説明文を生成 housewife(主婦) geek(オタク)
- 33. まとめ • ECプラットフォームにおけるパーソナライズされた 商品説明文の自動生成システムを開発 – Encoder-Decoder(Transformer) – Aspect(商品側面)、ユーザカテゴリ、Knowledge(外部知識) – 自動評価と人間による評価によって有効性を検証 • 商品説明文生成のための大規模データセットTaoDescribeを構築 32