Google が 2018 年に発表した深層モデル BERT は、自然言語処理 (NLP) の多くのタスクでブレイクスルーを起こしました。性能面で進歩がある一方で、公平性に関するガイドラインが総務省から発表される等、産業界では解釈可能な AI を求める声が大きくなってきています。そこで本セッションでは、このギャップを埋めるために Microsoft Research が開発している、interpret-text と呼ばれる機械学習ライブラリをご紹介します。BERT を含む、様々な自然言語処理モデルを解釈するための 2 つの方法について解説し、簡単なデモをお見せします。
Deep Learning Digital Conference - connpass
https://dllab.connpass.com/event/178714/
2024/2/27 に JASA OpenEL working group で講演した資料
https://note.com/kae_made から公開している概念モデリングに関する技術コンテンツをAzure OpenAI Studio で追加学習し、概念モデリング支援チャットを作成を試す方法を解説
デモ動画は、https://youtu.be/UGCuMwM8cEE?si=wT9YH8Hx8Zmjuolf で視聴可
Google が 2018 年に発表した深層モデル BERT は、自然言語処理 (NLP) の多くのタスクでブレイクスルーを起こしました。性能面で進歩がある一方で、公平性に関するガイドラインが総務省から発表される等、産業界では解釈可能な AI を求める声が大きくなってきています。そこで本セッションでは、このギャップを埋めるために Microsoft Research が開発している、interpret-text と呼ばれる機械学習ライブラリをご紹介します。BERT を含む、様々な自然言語処理モデルを解釈するための 2 つの方法について解説し、簡単なデモをお見せします。
Deep Learning Digital Conference - connpass
https://dllab.connpass.com/event/178714/
2024/2/27 に JASA OpenEL working group で講演した資料
https://note.com/kae_made から公開している概念モデリングに関する技術コンテンツをAzure OpenAI Studio で追加学習し、概念モデリング支援チャットを作成を試す方法を解説
デモ動画は、https://youtu.be/UGCuMwM8cEE?si=wT9YH8Hx8Zmjuolf で視聴可
How to organize data science project (データサイエンスプロジェクトの始め方101)Yasuyuki Kataoka
(Japanese) This is some tips on how to organize artificial intelligence or machine learning projects. This is presented in the engineering community event, NTT Engineer Festa#3, in Japan.
Towards Knowledge-Based Personalized Product Description Generation in E-comm...harmonylab
出典:Qibin Chen, Junyang Lin, Yichang Zhang, Hongxia Yang, Jingren Zhou, Jie Tang : Towards Knowledge-Based Personalized Product Description Generation in E-commerce, Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD2019), Anchorage, Alaska, USA, (2019)
公開URL:https://arxiv.org/abs/1903.12457
概要:ECサイトにおける商品説明文の自動生成に関する論文です。商品タイトルから商品説明文を生成するEncoder-Decoderモデル(Base lineモデル)を考えます。このBase lineモデルによって生成される文章は一般的で曖昧な記述をすることが多くあまり使い物にならないとされています。商品説明文に必要な要素は次の2点であると本論文では主張しています。1.顧客の興味を促進するために、商品説明文は顧客の好みに基づいてパーソナライズされる必要があるとされています。2.顧客の意思決定に役立つ説明文には、商品の関連知識が含まれている必要があります。本論文では、パーソナライズされた情報量の多い説明文を生成するために、ユーザカテゴリや外部の知識ベースから取得してきた知識に基づいて商品紹介文を生成するKnowledge Based Personalizedモデルを提案します。
How to organize data science project (データサイエンスプロジェクトの始め方101)Yasuyuki Kataoka
(Japanese) This is some tips on how to organize artificial intelligence or machine learning projects. This is presented in the engineering community event, NTT Engineer Festa#3, in Japan.
Towards Knowledge-Based Personalized Product Description Generation in E-comm...harmonylab
出典:Qibin Chen, Junyang Lin, Yichang Zhang, Hongxia Yang, Jingren Zhou, Jie Tang : Towards Knowledge-Based Personalized Product Description Generation in E-commerce, Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD2019), Anchorage, Alaska, USA, (2019)
公開URL:https://arxiv.org/abs/1903.12457
概要:ECサイトにおける商品説明文の自動生成に関する論文です。商品タイトルから商品説明文を生成するEncoder-Decoderモデル(Base lineモデル)を考えます。このBase lineモデルによって生成される文章は一般的で曖昧な記述をすることが多くあまり使い物にならないとされています。商品説明文に必要な要素は次の2点であると本論文では主張しています。1.顧客の興味を促進するために、商品説明文は顧客の好みに基づいてパーソナライズされる必要があるとされています。2.顧客の意思決定に役立つ説明文には、商品の関連知識が含まれている必要があります。本論文では、パーソナライズされた情報量の多い説明文を生成するために、ユーザカテゴリや外部の知識ベースから取得してきた知識に基づいて商品紹介文を生成するKnowledge Based Personalizedモデルを提案します。
生成AIがもたらすコンテンツ経済圏の新時代 The New Era of Content Economy Brought by Generative AI
Distilling Knowledge Learned in BERT for Text Generation
1. Distilling Knowledge Learned in BERT
for Text Generation
著者︓Yen-Chun Chen, Zhe Gan, Yu Cheng, Jingzhou Liu, Jingjing Liu
所属︓Microsoft Dynamics 365 AI Research, Carnegie Mellon University
2. ⾃⼰紹介
l 名前︓
• 吉⽥ 将⼤
• Twitter: @master_bomber
l 所属︓
• ソニー株式会社 R&Dセンター
l 現在の研究テーマ
• エンタメ向けの⽣成モデル
l その他の研究興味
• レシピの⾃動⽣成
l ⼀⾔
• ⾃然⾔語は今年始めたばかりなので、⾊々突っ込んでください︕
8. 提案モデル︓Knowledge Distillation Step
l Fine TuneされたBERTの予測結果をSoft Labelとして扱う
• 例えば、Seq2Seqで!"を予測するには、BERTの!"の予測結果との差を損失とする
• Soft Labelの方がHard Labelよりも詳細な情報を持つと考えられる
• このステップではBERTのパラメータは更新しない
l 任意のSeq2Seqモデルが適用可能
• 実験ではTransformerを使っている
Figure 1: Illustration of distilling knowledge from BERT for text generation
Soft Label