Download to read offline
![冷蔵庫の画像でおすすめレシピ紹介
The Multimodal And Modular Ai Chef:
Complex Recipe Generation From Imagery
マルチモーダルでモジュール化された AI シェフ:
画像からの複雑なレシピ生成
[Submitted on 20 Mar 2023]
87
https://arxiv.org/abs/2304.02016#](https://image.slidesharecdn.com/2024-240720062621-80f423a1/75/Developer-IO-2024-Odyssey-SAM-87-2048.jpg)
![114
[YOLOv8 Instance Segmentation] 「きのこの山」に潜伏する「たけのこの里」を機械学習で見つけてみました 〜データセットは、
Segment Anything Modelで自動的に生成されています〜https://dev.classmethod.jp/articles/yolov8-instance-segmentation/
機械学習でスーパーマーケットの缶ビールを検出してみました 〜Segment Anythingでセグメンテーションして、YOLOｖ８の分類モデル
で銘柄を判定〜
https://dev.classmethod.jp/articles/beer-detection/
ぬいぐるみを検出するモデルをYOLOv5で作成し、ONNX形式に変換してRaspberryPIで使用してみました
https://dev.classmethod.jp/articles/segment-anything-yolov5-onnx/
Segment Anythingを使用して動画からデータセット用の画像を切り出してみました
https://dev.classmethod.jp/articles/sygment-anything-create-dataset-image/
[ChatGPT] 冷蔵庫内の写真から「おすすめレシピ」を受け取ってみました 〜食品は、Segment Anything と 転移学習した分類モデルで
検出してます〜
https://dev.classmethod.jp/articles/chatgpt-recomend-recip/
Meta AI の Segment Anything Model（SAM） でUSBカメラの映像からオブジェクトを抽出してみました
https://dev.classmethod.jp/articles/segment-anything-model-with-usb-cam/
YOLOv5でアヒルを検出するモデルを作ってみました。(NVIDIA Jetson AGX Orin + l4t-pytorch:r35.2.1-pth2.0-py3)
https://dev.classmethod.jp/articles/yolov5-nvidia-jetson-agx-orin/
[YOLOv8] 生産ラインを流れるアヒルを追跡して数をかぞえてみました
https://dev.classmethod.jp/articles/tracked-and-counted-with-yolov8/](https://image.slidesharecdn.com/2024-240720062621-80f423a1/75/Developer-IO-2024-Odyssey-SAM-114-2048.jpg)
Uploaded byShinichi Hirauchi
Developer IO 2024 Odyssey SAMを応用したコンピュータビジョンの話
Developer IO 2024 Odyssey SAMを応用したコンピュータビジョンの話
![[DL輪読会]Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Ima...](https://cdn.slidesharecdn.com/ss_thumbnails/20190125misono-190125024053-thumbnail.jpg?width=640&height=640&fit=bounds)
![[IBIS2017 講演] ディープラーニングによる画像変換](https://cdn.slidesharecdn.com/ss_thumbnails/ibis2017iizuka-171120134119-thumbnail.jpg?width=640&height=640&fit=bounds)
![[論文紹介] Convolutional Neural Network(CNN)による超解像](https://cdn.slidesharecdn.com/ss_thumbnails/cnn-presen-161218113749-thumbnail.jpg?width=640&height=640&fit=bounds)
Developer IO 2024 Odyssey SAMを応用したコンピュータビジョンの話
- 1.
- 2.
- 3. アジェンダ ● コンピュータビジョン ○ SAM/深層学習/ファインチューニング ●SAM (Segment Anything Model) の応用 ○ オブジェクト抽出 ○ データセット生成 ● 応用例 ○ スーパーマーケットの缶ビール検出 ○ 冷蔵庫の画像でおすすめレシピ紹介 ○ 生産ラインでの外形監視 ○ 製品のカウント 3
- 4.
- 5. Segment Anything Model5 https://segment-anything.com/ Meta社 2023年4月5日 ファインチューニングなしであらゆる 物体のセグメンテーションを行う
- 6. Segment Anything Model6 https://segment-anything.com/demo#
- 7. Segment Anything Model7 https://segment-anything.com/demo#
- 8.
- 9.
- 10. Segment Anything Model10 https://python.plainenglish.io/segment-anything-model-sam-a-friendly-exposure-9be2dd3128d6 コンピュータビジョンの実装に色々影響 ある意味、ゲームチェンジャーと言えるかも
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17. 機械学習 • イメージ分類 • 物体検出 •セグメンテーション • 骨格検出 • 顔認証 • 画像検索 • 異常検出 • 人物追跡 • 動画分類 17
- 18. 機械学習 • イメージ分類 • 物体検出 •セグメンテーション • 骨格検出 • 顔認証 • 画像検索 • 異常検出 • 人物追跡 • 動画分類 18
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26. SAMの応用（オブジェクト抽出） Segment Anything Model（SAM）では、 次の２種類の検出方法が提供されています。 ● Automatically generating object ● Object masks from prompts 26
- 27.
- 28. SAMの応用（オブジェクト抽出） Object masks fromprompts • 対象ポイント • 非対象ポイント • 矩形 組み合わせ可 28
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66.
- 67.
- 68.
- 69.
- 70.
- 71.
- 72.
- 73.
- 74.
- 75.
- 76.
- 77.
- 78.
- 79.
- 80.
- 81.
- 82.
- 83.
- 84.
- 85.
- 86.
- 87. 冷蔵庫の画像でおすすめレシピ紹介 The Multimodal AndModular Ai Chef: Complex Recipe Generation From Imagery マルチモーダルでモジュール化された AI シェフ: 画像からの複雑なレシピ生成 [Submitted on 20 Mar 2023] 87 https://arxiv.org/abs/2304.02016#
- 88.
- 89.
- 90.
- 91.
- 92.
- 93.
- 94.
- 95.
- 96.
- 97.
- 98.
- 99.
- 100.
- 101.
- 102.
- 103.
- 104.
- 105.
- 106.
- 107.
- 108.
- 109.
- 110.
- 111.
- 112.
- 113. まとめ 113 ● SAM(Segment Anything Model) の応用 ○ 狙ったオブジェクトを抽出できる ○ 切り取ったオブジェクトで各種モデルのデータセットが作成できる ● 応用例 ○ スーパーマーケットの缶ビール検出（抽出・分類モデル） ○ 冷蔵庫の画像でおすすめレシピ紹介（抽出・分類モデル） ○ 生産ラインでの外観検査（リアルタイム抽出） ○ 製品のカウント（制度の高い物体検出）
- 114. 114 [YOLOv8 Instance Segmentation]「きのこの山」に潜伏する「たけのこの里」を機械学習で見つけてみました 〜データセットは、 Segment Anything Modelで自動的に生成されています〜https://dev.classmethod.jp/articles/yolov8-instance-segmentation/ 機械学習でスーパーマーケットの缶ビールを検出してみました 〜Segment Anythingでセグメンテーションして、YOLOｖ８の分類モデル で銘柄を判定〜 https://dev.classmethod.jp/articles/beer-detection/ ぬいぐるみを検出するモデルをYOLOv5で作成し、ONNX形式に変換してRaspberryPIで使用してみました https://dev.classmethod.jp/articles/segment-anything-yolov5-onnx/ Segment Anythingを使用して動画からデータセット用の画像を切り出してみました https://dev.classmethod.jp/articles/sygment-anything-create-dataset-image/ [ChatGPT] 冷蔵庫内の写真から「おすすめレシピ」を受け取ってみました 〜食品は、Segment Anything と 転移学習した分類モデルで 検出してます〜 https://dev.classmethod.jp/articles/chatgpt-recomend-recip/ Meta AI の Segment Anything Model（SAM） でUSBカメラの映像からオブジェクトを抽出してみました https://dev.classmethod.jp/articles/segment-anything-model-with-usb-cam/ YOLOv5でアヒルを検出するモデルを作ってみました。(NVIDIA Jetson AGX Orin + l4t-pytorch:r35.2.1-pth2.0-py3) https://dev.classmethod.jp/articles/yolov5-nvidia-jetson-agx-orin/ [YOLOv8] 生産ラインを流れるアヒルを追跡して数をかぞえてみました https://dev.classmethod.jp/articles/tracked-and-counted-with-yolov8/
- 115.