IoTLT vol98

1. 画像⽣成AIとIoTを組み合わせた
アートフレームを作ってみた
数野
発表⽇4⽉20⽇
Raspberry Pi
＋
７⾊電⼦ペーパ
＋
Stable Diffusion
+
Twitter

2. ⾃⼰紹介
2
⽒名： 数野翔太
所属： BOLDLY株式会社 - フロントエンドエンジニア
持続可能な移動サービスの早期実現
・⾃動運転の社会実装
・遠隔監視
・交通事業に関わるサービスの開発
趣味： モノづくり、部品集め、何かしらを光らせること
⼤学では電気電⼦⼯学
を学んでました

3. 過去に光らせてきたもの
3
廊下 サッカーボール？
お⽫
何か
プリン

4. 本題に、、
4
画像⽣成AIとIoTを組み合わせた
アートフレームを作ってみた

5. 開発に⾄った背景
5
近年⽣成系AI がすごく盛り上がってる！！
画像⽣成系だとmidjourney や Stable Diffusionなど、、
Stable Diffusionはモデルを公開しており
Raspberry piなどに組み込むことができる

6. 開発に⾄った背景
6
家に絵をかざっている⽅は多くいると思いますが、
その絵が勝⼿に更新されるようになったら⾯⽩いのでは？!
IoT
アートフレーム

7. システム構想
7
こんな感じで実装したい
Stable Diffusionで画像⽣成 フォトフレームに表⽰
SNS（Twitter）にアップロード
・⽣成した画像の記録
・せっかく作ったのでみんな⾒てや
マイコン (Raspberry pi) ディスプレイ (pim534)
Edge

8. 使⽤した機材詳細
8
Raspberry pi 4 ＋ マイクロSD 64GB PIM534（Pimoroni：Inky Impression 5.7"）
マイコン (Raspberry pi) ディスプレイ (pim534)
・Stable Diffusionが動かせる
選定理由
・ディスプレイとの相性が良い
・電⼦ペーパなので情報の持続に電気を必要としない
選定理由
・印刷した写真のような質感なので、
よりアートフレーム感が出る
・7⾊の混ぜ合わせで綺麗な⾊が出る
・個⼈的に電⼦ペーパすき

9. 早速作っていく
9
まずはRaspberry piにStable Diffusionのv2のモデルをダウンロード
https://huggingface.co/stabilityai/stable-diffusion-2
Pythonで実⾏するためのライブラリ
のインストールや、Raspberry piの
CPUで動かせるようにサンプルの
コードを改変しました。

10. 早速作っていく
10
サンプルコードを動かすと、、
実⾏から約3時間でこちらの絵が⽣まれました

11. 早速作っていく
11
ディスプレイの連携
https://shop.pimoroni.com/products/inky-impression-5-7
Raspberry Piで動かせるパッケージ
が⽤意されているので、公式のド
キュメント通り実⾏します。

12. 早速作っていく
12
ディスプレイの接続
Raspberry PiのGPIOとそのまま接続
できるので差し込むだけ！

13. 早速作っていく
13
ディスプレイのサンプルを実⾏
サンプルのPythonを実⾏すると、
40秒かけて絵が表⽰されました

14. 早速作っていく
14
SNSとの連携
TwitterのDeveloperに登録します
ここで発⾏した各Keyを使いPython
でTweepyのライブラリを使⽤して
画像投稿のコードを書きます。
現在Twitterで提供されているV2の
API には画像を投稿する機能がない
ので、V1のAPIを使い画像の投稿を
⾏います。

15. 早速作っていく
15
筐体（フレーム）も作る
Fusion360で箱のデータを作ります。

16. 早速作っていく
16
レーザー加⼯
レーザー加⼯機で板をカットします。

17. 早速作っていく
17
筐体の完成
Raspberry piが壊れにくくなるよう
にファンを２つつけました

18. アートフレームの完成
18
アカウント名
@kyazoooo
約3時間おきに画像更新とディスプレイへの表⽰
完成しました！
SNSヘアップロード

19. 終わりに
19
・朝起きるとTwitterに３匹くらい産まれていて楽しい
・知らない⼈からいいねもらえて嬉しい（インターネットを感じる）
・電⼦ペーパーが微妙な絵でもいい感じにしてくれてる
・いつか壊れそう
作って⾒ての感想
・植物アートフレームにしたい
（AIのモデルを内部に持っているのでコンセントからの給電ではなく、
⽇光で絵を描く持続的なエコモデルも作ってみたい）
展望

20. 終わりに
20
作り⽅をQiitaにあげました
作り⽅をQiitaにあげているので興味があれば⾒てみてください。
アカウント名：@kyazoooo

21. EoF
21
ご清聴ありがとうございました！