https://mlops.connpass.com/event/265378/

1. Generative AIと検索を
組み合わせた新たな体験の模索
2022/12/14 しぶい

2. 自己紹介
shibui yusuke
● もともと文学部の大学院卒。
● いろいろ → Launchable（いまここ）
● MLOpsとかいろいろエンジニア
● もともとクラウド基盤の開発、運用
● ここ6年くらいMLOpsとバックエンドとインフラとたまに
データ分析とAndroidで仕事
● Github: @shibuiwilliam
● FB: yusuke.shibui
● 最近の趣味：副業と自宅勤務改善
cat : 0.55
dog: 0.45
human : 0.70
gorilla : 0.30
物体検知
2

3. 疑問
● AIで絵を描けるようになったけど、世の中の人はそんなにクリエイティブな作業をしてるだろうか？
● たぶん一般的なスマホの利用時間は「生成＜＜＜＜＜検索」というくらい、
検索（ほしいものを見つける）作業のほうが長い（根拠はない）。
● ほしいものを探してるけど、見つからなかったり存在しなかったりするから、
クリエイティビティが必要なのでは？
● ということで作って試してみる。

4. ● テキストや属性を入力してコンテンツを検索する
検索
検索システム
茶色のバッグ
● Elasticsearch
● Solr
● Opensearch
● …

5. 類似画像検索
● 画像を入力にして画像を検索する
ANN
● SCaNN
● NGT
● Faiss
● …

6. Generative AI
● テキストを入力にしてコンテンツを生成する
Generative AI
茶色のバッグ
● Stable Diffusion
● DALLE
● Midjourney
● …

7. もちろんこういうこともできる
Stable Diffusion
茶色のバッグ
ANN

8. 実際に作ってみた

9. アーキテクチャ
類似画像検索Tensorflow Serving
MobileNet v3 + SCaNN
画像生成API キュー兼
インデックスキャッシュ
Storage
StableDiffusion
画像生成ジョブ

10. 従来の検索
バッグ
シック
カジュアル
ファンシー
男性もの
女性もの
茶色
子ども用
エンブレム
ハンドバッグ
ビジネス
肩掛け
財布
大型
飾り
赤
黒
検索システム
＆
キャッシュ
スポーツ
トランク
● テキスト
● 属性
● 閲覧履歴
● ・・・
茶色い女性もののファンシーなバッグ

11. Generative AIと検索
バッグ
シック
カジュアル
ファンシー
男性もの
女性もの
茶色
子ども用
エンブレム
ハンドバッグ
ビジネス
肩掛け
財布
大型
飾り
赤
黒
スポーツ
トランク
茶色い女性もののファンシーなバッグ
ユーザがデザインを生成しながら検索していく

12. Generative AIと検索
バッグ
シック
カジュアル
ファンシー
男性もの
女性もの
茶色
子ども用
エンブレム
ハンドバッグ
ビジネス
肩掛け
財布
大型
飾り
赤
黒
スポーツ
トランク
茶色い女性もののファンシーで 赤いアクセサリー付きの バッグ
つまり、存在しないものはテキストとデザインを直接フィードバックできる
このあたりにあるはずだけ
ど存在しない

13. AI E-commerce
女性もののバッグがほしい
茶色でカジュアルなもの
これでいかがでしょうか？
真ん中のにもうちょいアクセント
赤いアクセサリーとか
これでいかがでしょうか？
右ので検索
AI E-commerce
検索結果です

14. 閲覧履歴からデザインできないか？
女性もの
バッグ
茶色
おしゃれ
シック 赤い追加
もしかして・・・
閲覧履歴から重要な単語を集めて・・・

15. まとめ
● ユーザ視点：ほしいものをデザインしながら探す体験
● EC視点：デザインとテキストのフィードバックを得ながら検索とプロダクトデザインのループ
● Generative AIとANNはちゃんとチューニングしたらもっと精度高くなるはず
● ECやファッションに限らず、旅行、地図、コンテンツ（本とか）、Web広告・・・と応用範囲は広い
● データは必要なので、検索と生成のデータが用意できる既存Webビジネスと相性が良さそう
● UIは考えもの

16. ● 2022年11月14日発売！
● https://www.amazon.co.jp/dp/4798173401/
● https://github.com/shibuiwilliam/building-ml-system
● 発売中！
● https://www.amazon.co.jp/dp/4798169447/