牛肉の画像評価に必要なロース芯抽出モデルをKeras&Tensorflowで構築し、Bridging-Headerを用いてSwiftで利用する方法について

1. 食肉の画像評価における
モバイルデバイスの活用につい
て
KOMINE.WORKS / Meat Image Japan
小峰 央志

2. 代表
KOMINE.WORKS
兼
CTO
小峰 央志 / Hisashi KOMINE
hisashi@komine.works
特任研究員
兼

3. もくじ
• ミート・イメージ ジャパンの事業について
• Keras+Tensorflowによるロース芯抽出
• iOSでの学習済みモデルの利用・画像解析

4. ミート・イメージ ジャパン /
MIJ
https://www.meatij.or.jp
• 食肉評価用カメラの研究開発
• 枝肉情報データベースの研究開
発
• 食肉画像解析システムの研究開
発
帯広畜産大学の
大学ベンチャー

5. 食肉評価用カメラ

6. ミラー型カメラ
◆利点
●フィルムミラー
⇒ ロース芯に対して鉛直方向から撮影
●高精細画像の解析
⇒ 脂肪交雑の詳細な評価 etc.
●撮影範囲が広く、横断面全体の観察が可能

7. 食肉評価用カメラ
◆新型撮影装置（MIJ-15）
☞（一社）ミート・イメージ ジャパンを中心に開発
枝肉横断面
MIJ-15
ミラー型撮影装置
・重量 約 2.6 kg
・撮影速度 200～300 頭/h
・リアルタイムな解析が可能
（ 10 秒/頭 ）
・重量 約 8 kg
・撮影速度 200 頭/h
カメラ

8. 枝肉画像データベース
https://carcassdb.meatij.or.jp

9. 枝肉画像解析
脂肪面積割合と小ザシの評価
値である「新細かさ指数」を
利用した脂肪交雑基準の策定

10. 枝肉画像解析 - 新細かさ指数/NFI
● 脂肪交雑の周囲長 （粒子の外周の長さ） を算出
白が脂肪交雑粒子
すべての粒子の周囲長を算出
総和
（左図の黒い線
）
● 周囲長の総和を
ロース芯面積 の
平方根あたりに換算
＝総周囲長
NFI＝
総周囲長
ロース芯面積√

11. 枝肉画像解析 - 食味試験
アラザシ
小ザシ

12. カメラ x 枝肉DB x 画像解析
MIJ 枝肉データベース
枝肉データベース
生産者・流通業者

13. もくじ
• ミート・イメージ ジャパンの事業について
• Keras+Tensorflowによるロース芯抽出
• iOSでの学習済みモデルの利用・画像解析

14. ロース芯抽出

15. DeepLearningによる画像処理の種別
1. Image Classification
その画像に何が写っているのかを分類する
2. Object detection
その画像のどこに何が写っているのかを検出する
3. Image Segmentation
その画像のどの領域があるオブジェクトに属するのかを判定する

16. Image Segmentation

17. Non-semantic vs Semantic
Image Segmentation
1. Non-semantic segmentation
各画素の局所的な値のみをもとにセグメンテーションを行う
2. Semantic segmentation
画像全体の大局的な情報も利用してセグメンテーションを行う
例) 画像の上にあるから空、下にあるから地面など

18. Fully convolutional semantic
segmentation, Long et. al., 2014

19. ロース芯自動抽出結果
acc > 99.8 (v.7)

20. もくじ
• ミート・イメージ ジャパンの事業について
• Keras+Tensorflowによるロース芯抽出
• iOSでの学習済みモデルの利用・画像解析

21. サーバ側解析の問題
サーバでロース芯抽出
&画像解析

22. サーバ側解析の問題
サーバでロース芯抽出
&画像解析

23. サーバ側解析の問題
• カメラの台数が増えた場合にスケールが難しい
• 解析結果を即座にカメラ側で確認できない

24. カメラ側でロース芯抽出
&画像解析
サーバ側解析の問題

25. ロース芯抽出 & 画像解析 on
iOS
https://github.com/tensorflow/tensorflow/tree/m
aster/tensorflow/examples/ios
ロース芯抽出
Tensorflow
画像解析
OpenCV 3
https://opencv.org/releases.html

26. どちらもiOSで使える！が、、

27. C++ & Objective-C

29. Bridging-Header
SwiftプロジェクトでObjective-Cの
資産が使える仕組み

30. 三段論法的
Tensorflow & OpenCV on Swift
1. Objective-CではC++が使える
2. SwiftではObjective-Cが使える
3.SwiftではC++が使える！

31. - (UIImage *)analyze:(UIImage *)image predImage:(UIImage *)predImage {
...
}
let resultImage = self.tfWrapper.analyze(cropImage, predImage: predImage)
実装例 - TFWrapper.analyze
@interface TFWrapper : NSObject
- (UIImage *)analyze:(UIImage *)image predImage:(UIImage *)predImage;
@end
#import "TFWrapper.h"
TFWrapper.mm
TFWrapper.h
Bridging-Header.h
ViewController.swift

32. カメラ映像
撮影画像
解析結果プレビュー

33. Appendix - Kerasのh5モデルファイルから
pb形式ファイルへの変換
• Kerasの保存するモデルはh5py形式
• iOSのTensorflowで利用するためには
Protocol Buffers形式に変換する必要がある
tensorflow.python.framework.graph_io および
tensorflow.python.tools.feeze_graph を利用して
h5 -> pb変換を行う
https://gist.github.com/hisashi-
komine/dcc4d3e0271c729f1450af0b27f8
1cb2
GIST

34. 今後の予定
• ロース芯抽出モデルの精度改善
• iPhoneに繋いだ外部カメラによる画像撮影

35. Thank you!