Machine Learning Design Patterns 読書会 https://grass-roots-ml.connpass.com/event/209674/ で発表した資料です。

1. #4 Multimodal Input
2021.4.13 Machine Learning
Design Patterns 読書会
mukai

2. Multimodal Input
例）レストランの評価
（1〜5）の予測

3. Solution
◻ concatenate
Embeddings
One-Hot
[ 0.75, -0.82, 0.45 ]
[ 0, 0, 1 ]
[ 0, 0, 1, 30.5, 0.75, -0.82, 0.45 ]

4. 応用
◻ 「Multimodal Inputs」には２通り
1) 複数の異種の入力を１つにまとめる
2) １つの入力を複数のモードで表現する

5. １つの入力を複数のモードで表現する
例）
入力：レストランの評価（ 1〜5）
予測：評価が有用かどうか
（何人の人がその評価を気に入ったか）
[ 2, 3, 5 ]
1, 2, 3: bad(0)
4,5: good(1)
[ [2, 0], [3, 0], [5, 1] ]
3件のデータ
1〜5の評価値は必ずしも線形ではないため。
人にもよるが、4と5の評価は似ているし、 3はどちらかという
とbadなことが多い。
応用：評価者の自宅からレストランまでの距離を加えてもよい（県内・県
外・外国といった３カテゴリで）
５段階評価と２段階評価の組み合わせ

6. テキストのマルチモーダルな表現
例）
入力：Stack Overflow のタイトルテキスト
予測：回答が得られるかどうか（
Answer があるかどうか）
Title Text tokernize
ボキャブラリー数 : 200
40
texts_to_sequences
シーケンス長 : 40
40
Embedding
64
Flatten
2560
Dense
32
200
texts_to_matrix
(Bag of Words)
Dense
32
64
concatenate
Dense
16
Dense
1
BOW: 単語の有無という強いシグナルを出せる。
Embeddings: 単語間の関係を表せる。
どちらの表現にも価値があり、
組み合わせることでモデルの性能を最大化できる。

7. テキストのマルチモーダルな表現（２）
Title Text tokernize
ボキャブラリー数 : 200
200
texts_to_matrix
(Bag of Words)
Dense
32
64
concatenate
Dense
16
Dense
1
Dense
32
3
タイトルの長さ、
単語数、
？で終わっているか
どうか
＋
テキスト処理の過程で失われてしまう文章の長さや句読
点などの情報も（別途抽出してconcatすれば）利用でき
る。

8. 画像のマルチモーダルな表現
Images as pixel values:
画像全体の特徴にモデルの目を向けさせる。
Images as Tiled Structures:
画像の局所の特徴にモデルの目を向けさせる。

9. 画像のマルチモーダルな表現（２）
例）
入力：監視カメラ画像、時間、視認性、天候、場所
予測：交通違反があるかどうか
マルチモーダル表現の注意点：
予測に何が効いたのかはわからない。
（入力が画像だけではないため）予測に寄与した画素をハイ
ライトするなどのテクニックは使えない。

10. Multimodal Input: Summary
◻ Solution: concatenate
◻ Multimodal Inputs には２種類
1) 複数の異種の入力を１つにまとめる
2) １つの入力を複数のモードで表現する
■ レストランの5段階評価 → 2段階評価と組み合わせる
■ テキストのマルチモーダル表現：BOW + Embedding + Meta
■ 画像のマルチモーダル表現：Pixel + Conv/Pooling + Meta