Recommended
More Related Content
Similar to 広告文生成タスクの規定とベンチマーク構築
Similar to 広告文生成タスクの規定とベンチマーク構築 (20)
広告文生成タスクの規定とベンチマーク構築
- 1. 言語処理学会第29回年次大会（NLP2023） 広告文生成タスクの規定とベンチマーク構築 三田 雅人, 村上 聡一朗, 張 培楠（サイバーエージェント） H11-4
- 2. 2 言語処理学会第29回年次大会（NLP2023） インターネット広告の種類 検索連動型広告 ディスプレイ広告 その他に SNS 広告, インフィード広告, 動画広告, キャッチコピーなど色々ある
- 3. 3 言語処理学会第29回年次大会（NLP2023） インターネット広告市場 ➢ 広告制作の自動化が喫緊の課題となっている 2018年のインターネット広告媒体費は 1兆4480億円に。モバイル +動画広告の 伸びに注目 市場は10年で約3倍もの規模に成長 Google Search Statistics and Facts 2023 (You Must Know) 検索クエリは前年比 約8%前後で増加
- 4. 4 言語処理学会第29回年次大会（NLP2023） 自然言語処理技術を用いた広告文の自動生成 ● ニューラル言語生成に基づく手法（例. EncDec）が主流 CTRが高い文への”翻訳” [Mishra+, 2020] 広告文 商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] クリック率 (CTR) = クリック数 ÷ 表示回数
- 5. 5 言語処理学会第29回年次大会（NLP2023） 課題①: 問題設定として十分に規定されていない ● ニューラル言語生成に基づく手法（例. EncDec）が主流 CTRが高い文への”翻訳” [Mishra+, 2020] 広告文 商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] タスクの入出力設定は？ 既存タスク（例. 要約）との本質的な違いは？ 満たすべき要件は？ 研究題材としての学術的な意義は？
- 6. 6 言語処理学会第29回年次大会（NLP2023） 課題② 共通データセット（ベンチマーク）がない ● 既存研究は独自データを用いた個々の検証に留まっている ○ 包括的な手法間の比較ができない ○ データを持たない新規プレイヤーが参入できない
- 7. 7 言語処理学会第29回年次大会（NLP2023） ベンチマークは問題を規定する ● 問題の具体的な取り決めはベンチマークの設計者が行う（① ’ 問題の設定） ○ 例. 何を入出力とするか ● 本質的に重要な部分が明らかになり , 技術の一般化が進む（②’ 比較・参入障壁） ■ 研究の参入コストが下がる 共通のデータセット （ベンチマーク）
- 8. 8 言語処理学会第29回年次大会（NLP2023） 本研究の概要 トップゴール: 広告文生成の学術分野としての発展 ● 分野の参入障壁を下げてプレイヤー増 ● 広告生成技術の一般化を促進 本研究の貢献: ● 広告文生成（Ad Text Generation）を応用横断的なタスクとして規定 ● 初のベンチマークデータセットを構築 ○ CAMERA📷: CA Multimodal Evaluation for Ad Text GeneRAtion ● 広告文生成タスクの現状と今後の課題を報告 本発表では詳細は割愛
- 9. 9 言語処理学会第29回年次大会（NLP2023） 広告文生成（Ad Text Generation）タスク ● 入力: 商材に関する説明文書（x）, ユーザ信号（a） ● 出力: 広告文（y） ● 目的: p (y|x,a) のモデル化 —---- 広告文生成モデル 説明文書 (x) 例: LPテキスト 広告文 (y) ユーザ信号(a) 例: 検索キーワード, 購買履歴 広告の形態によって変動
- 10. 10 言語処理学会第29回年次大会（NLP2023） 設計方針① マルチモーダル情報が活用できる ● 多くの広告形態では視覚情報が併せて用いられている ● LPのレイアウト情報を考慮することで生成品質向上 [村上ら, 22] ランディングページ（ LP） エンジニア 転職 キーワード ITエンジニアの転職 - ITエンジニア必見 ITエンジニアのための転職サービス。年収と仕事 内容付きで、企業があなたを競争入札 … 広告文
- 11. 11 言語処理学会第29回年次大会（NLP2023） 設計方針② 業種別に評価できる ● 効果的な広告文を作るためには具体的な訴求を入れることが重要 ● 効果的な訴求表現は業種ごとに異なる [Murakami+, 22] 出典: https://www.cyberagent.co.jp/news/detail/id=27559
- 12. 12 言語処理学会第29回年次大会（NLP2023） データセット構築手順 データセット全体 ● 元データは運用実績のある検索連動型広告 ● LP視覚情報の抽出（① ’ マルチモーダル情報の活用） ○ LP画像（フルビュー）のスクリーンショット ○ LP OCR処理済みテキスト 評価データセット ● 広告アノテーションの専門家に追加で 3つの参照広告文を作成 ● 業種ラベルの人手付与（② ’ 業種別評価） ○ 人材, EC, 金融, 教育の4業種
- 13. 13 言語処理学会第29回年次大会（NLP2023） CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA) ✔ 業種毎に評価可能 ✔ マルチモーダル情報が活用可能 ✔ マルチリファレンス評価が可能 https://github.com/CyberAgentAILab/camera 修明は“本当に行きたい学校 ”で高い合格 率を達成している塾です。勉強がうまく いっていない子を、“幸せな中学受験”で 「逆転合格」へ。... (省略) 1. 中学受験のための個別指導塾 2. 新規生徒募集キャンペーン実施中 3. 個人に合った指導・宿題でを提供 4. 今なら入塾金50%オフ 学習塾 中学 LPテキスト 検索キーワード LP画像（※） （参照）広告文 ※ 実際にはLPフルビュー画像および OCR処理済みテキストが含まれる
- 14. 14 言語処理学会第29回年次大会（NLP2023） 実験の目的 ● 提案ベンチマーク（CAMERA）の有用性を確認 ○ 設計方針1: マルチモーダル情報が活用できる ○ 設計方針2: 業種別に評価できる ● 広告文生成タスクの現状と今後の課題を調査 ○ 事前学習済みモデルの種類の影響は？ ○ 視覚情報は一貫して生成品質を向上させる？ ○ 業種別に結果にばらつきは？ 有用な設計か？
- 15. 15 言語処理学会第29回年次大会（NLP2023） 実験設定 ● ベースラインモデル ○ BART ○ T5 ○ T5 + OCR ○ T5 + OCR + Layout ○ T5 + OCR + Layout + Visual ● 評価尺度 ○ BLUE-4 (B-4) ○ ROUGE-1 (R-1) ○ キーワード挿入率 (Kwd) [村上ら, 22] から引用 ※ 実験設定の詳細は予稿をご参照ください [村上ら, 22]の設定に準拠
- 16. 16 言語処理学会第29回年次大会（NLP2023） 実験設定 ● ベースラインモデル ○ BART ○ T5 ○ T5 + OCR ○ T5 + OCR + Layout ○ T5 + OCR + Layout + Visual ● 評価尺度 ○ BLUE-4 (B-4) ○ ROUGE-1 (R-1) ○ キーワード挿入率 (Kwd) [村上ら, 22] から引用 事前学習済みモデルの種類の影響を調査 マルチモーダル情報の有用性を調査 ※ 実験設定の詳細は予稿をご参照ください LPと広告文の関連性を表す
- 17. 17 言語処理学会第29回年次大会（NLP2023） ● BART > T5 (B-4) ● T5 > BART (R-1, Kwd) 事前学習済みモデルの種類の影響（全体）
- 18. 18 言語処理学会第29回年次大会（NLP2023） ● 結果にばらつきが生じている ● 人材: BART > T5 （B-4, R-1） 事前学習済みモデルの種類の影響（業種別） ➢ 評価の目的に応じて適切に選択する必要あり
- 19. 19 言語処理学会第29回年次大会（NLP2023） ● OCR処理済みテキスト (+{o}) やレイアウト情報 (+{0,l})を入れると生成品 質（B-4, R-1）が向上 ● LPとの関連性（Kwd）は下がる マルチモーダル情報の有用性（全体）
- 20. 20 言語処理学会第29回年次大会（NLP2023） ● LPの画像特徴量（+{o,l,v}）を加えるとR-1が低下（例: EC, 金融） ● Kwdに関しては全体と同じ傾向 マルチモーダル情報の有用性（業種別） ➢ 画像情報の一部がノイズとして機能した可能性あり cf. [村上ら, 22]
- 21. 21 言語処理学会第29回年次大会（NLP2023） まとめ ● 広告文生成を応用横断的なタスクとして規定 ● 初のベンチマークデータ「CAMERA」を構築&一般公開 ○ ✔ 業種毎に評価可能 ○ ✔ マルチモーダル情報が活用可能 ○ ✔ マルチリファレンス評価が可能 ● 本タスクの現状と今後の課題を報告 ○ 広告文生成の性能は業種毎に大きく変動する ○ マルチモーダル情報の効果的な活用が今後の課題 https://github.com/CyberAgentAILab/camera
- 22. 22 補足資料
- 23. 23 言語処理学会第29回年次大会（NLP2023） 広告文の要件 ● 商材内容と整合がとれている（情報整合性） ○ 入力に含意されている（忠実性） ○ 入力に含意されていない情報を含むが外部知識に基づいている（事実 性） ● 商材内容からユーザの潜在的なニーズに応じて情報が取捨選択されている （情報圧縮性） ○ 商材に関する特徴や魅力を短い文で表し即座にユーザの関心を惹き付 けることが同時に要求 ○ 訴求できる情報を取捨選択（情報圧縮）されている必要
- 24. 24 言語処理学会第29回年次大会（NLP2023） 従来タスクとの違い ● クエリ指向要約（要約の一種） ○ 目的: ユーザの明示的なクエリを確実に反映させた要約の提示 ○ ユーザ信号: 顕在化されたニーズ ● 広告文生成 ○ 目的: ユーザの態度や行動に影響を与える要約の提示 ○ ユーザ信号: 潜在的なニーズ ユーザ信号の曖昧性 評価観点 クエリ指向要約 選好の世界 合意形成がとれる世界 広告文生成