![0 g
Compression
with 400 gf
Compression
with 500 gf
圧力印可によって色調が変化する
無機ナノ構造色ゲルシート
＜500gf compression＞
with SIFT features
＜500gf compression＞
with AKAZE features
D. G. Lowe: “Distinctive Image Features from Scale-Invariant
Keypoints,” Int. J. of Computer Vision, 60, 91—110, 2004.
P. F. Alcantarilla et al.: “Fast Explicit Diffusion for Accelerated
Featuresin Nonlinear Scale Spaces.” British Machine Vision
Conference, 2013.
A: All images (154) B: Dataset for pre-learning (77) C: Dataset for tests (77)
D,F: Images for learning (55) E,G: Images for tests (22)
H: Images with SIFT features (55) I: Images with AKAZE features (55)
J: Pre-learned model with SIFT K,M: Output weights of Pre-learned model
L: Pre-learned model with AKAZE, (T: Transfer learning, f: fine tuning)
＜Experimental results＞
＜実験手順＞
1. 構造色ゲルシートに
100gfずつ荷重を印可し，
色調を真上から撮影
（背景色：黒）
2. 撮影画像の一部を取り出
し，SIFT特徴量とAKAZE
特徴量を抽出
3. それぞれの画像特徴量を
元画像に重畳描画した画
像をもとに学習器を生成
4. 事前学習モデルからfine
tuningしたモデルと，転
移学習したモデルを生成
5. ゲルの色調画像から印可
荷重値を推定
W. Yang et al.: “Perovskite Nanosheet Hydrogels with Mechanochromic
Structural Color,” Angew. Chem. Int. Ed., 60, 15, 8466–8471, 2021.
A
B
C
D
E
F
G
T-SIFT model
f-SIFT model
T-AKAZE model
f-AKAZE model
Untreated model
ViT
20Epoch x2
20
E
P
O
C
H
H
I
J
ViT+K
L
ViT+M
pre-
learning
ViT
20Epoch
Image features
superimposing
＜Discussion＞
• 画像特徴量を重畳した画像を学習することで，画像のみと比べて正解率の向上が見られた
• 同様に，不正解の場合の誤差が低減された
＜Future Works＞
• 印可荷重の分解能を高め，数十 [gf] 程度の精度での荷重推定
• 推定荷重レンジの向上，材料の改善
謝辞
本研究は福岡工業大学総合研究機構 2021 年度
研究高度化支援制度の助成を受けたものです．
スケール，回転，照明条件に頑健
◆0.7782
▲0.7376
●0.7945
■0.7594
●0.6837
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Success
rate
of
load
estimation
[-]
Epoch number [-]
f-SIFT f-AKAZE T-SIFT T-AKAZE untreated
●140
◆183.33…
▲140
■180
●214.28…
0
50
100
150
200
250
300
350
400
450
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Average
error
to
ground
truth
[-]
Epoch number [-]
f-SIFT f-AKAZE T-SIFT T-AKAZE untreated
＜Dataset processing and learning procedure＞
画像特徴量を重畳することで，
学習性能の向上が期待できる](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
Recommended
More Related Content
More from Satoshi Makita
More from Satoshi Makita (20)
Recently uploaded
Recently uploaded (14)
メカノクロミック構造色ゲルの色調変化に基づく接触荷重の推定-Contact_load_estimation_by_structural_color_changes_of_mechanochromic_hydrogel_sheet-ROBOMECH2023
- 1. ［1P1-G17］ 2023年6月29日（木） コアタイム 13:30～14:15 日本機械学会 ロボティクス・メカトロニクス講演会 ROBOMECH 2023 メカノクロミック構造色ゲルの 色調変化に基づく接触荷重の推定 Contact load estimation by structural color changes of mechanochromic hydrogel sheet 藤村輝，槇田諭（福岡工業大学） makita@fit.ac.jp Fukuoka Institute of Technology <Overview> Mechanically compress Change color Retrieved dataset Input: Color image of gel Output: Forces applied to the gel Image feature extraction Features superimposed images Combine the original image with its image features Vision Transformer Learning Input: Superimposed images Output: Forces applied to the gel Pre-trained model Fine tuning Transfer learning Load estimation from a color image 圧力印可による色調変化を捉えた画像を，Vision Transformer を用いて識別 Weight scale CMOS camera Gel holder Lifter <Experimental Setting> 1. 構造色ゲルシートをガラス板で挟んで固定， 加圧面に黒色塗料を背景として塗布 2. ガラス板と重量スケールの間にΦ10の 丸棒を配置 3. ガラス板固定具を上下動することで， 丸棒からの印可荷重を変更 ※分布圧の推定はまだ実施していない ※CMOSカメラの色温度は任意に設定 画像特徴量を元画像に重畳描画， 学習精度の向上を図る ＜無機ナノシート構造色ゲルの利点＞ • 構造色の色変化は材料由来で印可圧力に依存 → 他の電源や回路を必要としない非電化のセンサ • 柔軟性が高い → 曲面への貼付も期待できる ＜センサとしての課題＞ • 色調変化と印可圧力がキャリブレーション されていない ＜色調変化の課題＞ • 印可圧力の変化に対して，色調変化が小さい • 構造色は照明条件に依存する ＜研究目的とアプローチ＞ • 圧力印可による色調変化から印可圧力を推定 • わずかな荷重変化に対して画像特徴を重畳 → 構造色ゲルの画像特徴の変化を強調 関連研究 • 森本ら：“サンプリングモアレ法による変 位・ひずみ分布計測”，J. of the Vacuum Society of Japan，54，1，pp. 32–38， 2011． • S. Umemoto et al. “Strain measurement of bridge members using Strain Visualization Sticker,” Proc. of Int. Conf. on Bridge Maintenance, Safety and Management, pp. 2212–2217, 2012.
- 2. 0 g Compression with 400 gf Compression with 500 gf 圧力印可によって色調が変化する 無機ナノ構造色ゲルシート ＜500gf compression＞ with SIFT features ＜500gf compression＞ with AKAZE features D. G. Lowe: “Distinctive Image Features from Scale-Invariant Keypoints,” Int. J. of Computer Vision, 60, 91—110, 2004. P. F. Alcantarilla et al.: “Fast Explicit Diffusion for Accelerated Featuresin Nonlinear Scale Spaces.” British Machine Vision Conference, 2013. A: All images (154) B: Dataset for pre-learning (77) C: Dataset for tests (77) D,F: Images for learning (55) E,G: Images for tests (22) H: Images with SIFT features (55) I: Images with AKAZE features (55) J: Pre-learned model with SIFT K,M: Output weights of Pre-learned model L: Pre-learned model with AKAZE, (T: Transfer learning, f: fine tuning) ＜Experimental results＞ ＜実験手順＞ 1. 構造色ゲルシートに 100gfずつ荷重を印可し， 色調を真上から撮影 （背景色：黒） 2. 撮影画像の一部を取り出 し，SIFT特徴量とAKAZE 特徴量を抽出 3. それぞれの画像特徴量を 元画像に重畳描画した画 像をもとに学習器を生成 4. 事前学習モデルからfine tuningしたモデルと，転 移学習したモデルを生成 5. ゲルの色調画像から印可 荷重値を推定 W. Yang et al.: “Perovskite Nanosheet Hydrogels with Mechanochromic Structural Color,” Angew. Chem. Int. Ed., 60, 15, 8466–8471, 2021. A B C D E F G T-SIFT model f-SIFT model T-AKAZE model f-AKAZE model Untreated model ViT 20Epoch x2 20 E P O C H H I J ViT+K L ViT+M pre- learning ViT 20Epoch Image features superimposing ＜Discussion＞ • 画像特徴量を重畳した画像を学習することで，画像のみと比べて正解率の向上が見られた • 同様に，不正解の場合の誤差が低減された ＜Future Works＞ • 印可荷重の分解能を高め，数十 [gf] 程度の精度での荷重推定 • 推定荷重レンジの向上，材料の改善 謝辞 本研究は福岡工業大学総合研究機構 2021 年度 研究高度化支援制度の助成を受けたものです． スケール，回転，照明条件に頑健 ◆0.7782 ▲0.7376 ●0.7945 ■0.7594 ●0.6837 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Success rate of load estimation [-] Epoch number [-] f-SIFT f-AKAZE T-SIFT T-AKAZE untreated ●140 ◆183.33… ▲140 ■180 ●214.28… 0 50 100 150 200 250 300 350 400 450 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Average error to ground truth [-] Epoch number [-] f-SIFT f-AKAZE T-SIFT T-AKAZE untreated ＜Dataset processing and learning procedure＞ 画像特徴量を重畳することで， 学習性能の向上が期待できる