https://mlops.connpass.com/event/305093/

1. Creative as
Software Engineering
2024/01/18
Shibui Yusuke

2. 本発表は個人の見解に基づくものであり、所
属組織を代表するものではありません。

3. 自己紹介
shibui yusuke
● 文学修士→いろいろ → Stability AI Japan
● 主にデータエンジニア
● もともとクラウド基盤の開発、運用
● ここ7年くらいMLOpsとバックエンドとインフラとデータ関
連で仕事
● Github: @shibuiwilliam
● FB: yusuke.shibui
● 最近の趣味：ルービックキューブ
cat : 0.55
dog: 0.45
human : 0.70
gorilla : 0.30
物体検知
3

4. ● 発売中！
● https://www.amazon.co.jp/dp/4798173401/
● https://github.com/shibuiwilliam/building-ml-system
● 発売中！
● https://www.amazon.co.jp/dp/4798169447/

5. 技術評論社Software & Designで
MLOpsについて連載中！
● 2023年8月号 MLOpsの概要
● 2023年9月号 MLOpsのためのスキルセットとチーム構成
● 2023年10月号 方針策定とMLOpsのためのツール
● 2023年11月号 MLOpsのための技術選定
● 2023年12月号 LLMのためのDevOps
● 2024年1月号 MLOpsと評価
● 2024年2月号 推論システム（予定）
● 2024年3月号 機械学習システムの引き継ぎ（予定）
MLOpsについてあまり他では取り上げられないテーマを
中心に記事を書いています！

6. これは何を作ってるでしょう？
データを
用意
モデル選定
パラメータ
調整
パイプライン
実行
評価

7. 答え：AIによるアニメ製作
データを
用意
モデル選定
パラメータ
調整
パイプライン
実行
評価
Stable Diffusion
Control Net
VAE
IPAdapter
…
プロンプト
乱数シード
時間調整
サンプラー
スケジューラ
…
ComfyUI

8. 本日は動画編集もアートも素人の私が
生成AIでコンテンツ製作する
システムやワークフローを
ソフトウェアエンジニアリングの観点から
検討していきます。

9. 要素分解する
Diffusion model +
Control net +
プロンプト +
パラメータ
Diffusion model +
Control net +
プロンプト +
パラメータ +
コマ割り
ラフ画をカラー画に変換 絵コンテの間を埋める

10. 用意するもの：
最初の線画＋パラメータ＋プロンプト＋パイプライン
＋GPU！！！
Diffusion model +
Control net +
プロンプト +
パラメータ
Diffusion model +
Control net +
プロンプト +
パラメータ +
コマ割り
ラフ画をカラー画に変換 絵コンテの間を埋める

11. 開発環境は一般的なML開発と同じ
ComfyUI
ComfyUI
カスタムノード
モデル
コンテンツ
100GBくらい使う。
Colab Pro+（月額5,767JPY）で
A100を30時間/月くらい使える。

12. プロンプト（≒ストーリー）の変更で
違うコンテンツを量産できる
赤い目の
白い猫
青い目の
茶色い猫
春夏秋冬
子猫が成猫に成長
春夏秋冬
子猫が成猫に成長
人間に変身
所要時間：5分

13. 構造的に考える
テーマ 媒体
表現方法
公開 需要者
ビジネス
表現者
（チーム）
製作 事業化
コンテンツ
絵画
動画
音楽
テキスト
ゲーム・・・
モナリザ
第九
吾輩は猫である
ドラクエ・・・
印象派
アニメ
雅楽・・・
美術館
広告
投稿サイト
コンサート
SNS・・・
購入
フリーミアム
サブスク
パトロン・・・

14. Creative as Software Engineering
関数
入力 出力

15. Creative as Software Engineering
生成AI
入力 出力
線画
プロンプト
パラメータ
Embedding・・・
Diffusion Model
Control Net
Lora
LLM・・・
画像
動画
テキスト
Embedding・・・

16. Creative as Software Engineering
生成AI
Diffusion Model
Control Net
VAE・・・
赤い目の白い猫
Seed: 123
Sampler: DPMPP_2M
Scheduler: Karras
Steps: 20 …
LLM
組み合わせ
最適化
評価
AIでフィルタリング
人間が選定
人間
修正、拡張

17. Creative as Software Engineering
生成AI
& 人間
間を埋める
音楽を挿入する
デザインを合わせる
個々に生成したシーン

18. Creative as Software Engineering
Creative
パイプライン
開発
ワークフロー
マネジャー
GPUクラスター
CI/CD
ML
パイプライン
基盤モデル
+ Lora
生成AI
API
LLM
人間
コンテンツ
データ基盤
モデル
管理
公開
コスト
たぶんこんな感じの構成？

19. まとめ
● 生成AIによる新しいCreativeのワークフロー化、ソフトウェア化。
● ソフトウェアによってコンテンツを大量生産できるからこそDevOps的な課題が発生する。
● 大量・大容量のマルチモーダルな非構造化データを効率的に整理、管理、評価する仕組みが必要。
● 今日書ききれなかったこと：
○ 消費時間 ＞ 生成時間へ
○ 1アニメ : *視聴者から1アニメ : 1視聴者によるパーソナライゼーション
「俺たちの挑戦はこれからだ！」
というプロンプトで生成。

20. 生成AIで一緒に世界を変えましょう！
絶賛採用中！
https://stability.ai/careers
X (旧Twitter)
Stability AI (日本語): @StabilityAI_JP