画像機器展2018セミナー

1. ○田中正行
柴田剛志
奥富正敏
遠赤外線カメラと可視カメラを利用した
悪条件下における画像取得

2. 可視光線と遠赤外線
1
380nm
可視光線 近赤外線 中赤外線 遠赤外線
780nm 2.5um 8.0um 100um
http://www.vision-sensing.jp/technology.html
可視光線 380-780nm 遠赤外線 8.0-15.0um
人による認識が容易
各種ツールの存在
霧や霞に弱い
光源が必要
人による認識が困難
解像度が低い
歪みが大きい
重要な情報（例：温度）
霧を透過する

3. 可視光カメラと遠赤外線カメラの例
https://www.youtube.com/watch?v=6gLdDJPQQKM2

4. プランクの法則
高田ら，実用遠赤外線
𝐸 =
𝐶1
𝜆5(𝑒
𝐶2
𝜆𝑇 − 1)
[
W
m2
⋅ 𝜇𝑚]
E:黒体の単色放射能
λ：波長[μm]
T：絶対温度[K]
C1：定数 3.742 × 108
C2：定数 1.439 × 104
高温
低温
遠赤外線 温度
大きい 高い
小さい 低い
3

5. 遠赤外線カメラの温度測定例
https://www.youtube.com/watch?v=zDUgzRVPKns
4

6. 波長の長い遠赤外線は霧を透過する
霧の粒子
遠赤外線（約10μm）
可視光（数百nm）
5

7. ImPACT タフ・ロボティクス・チャレンジ
6
遠隔操作ロボットによる
オブジェクト取り出し実験
遠赤外線カメラによる
煙透過映像(車内)
本発表の研究の一部は, 総合科学技術・イノベーション会議により
制度設計された革新的研究開発推進プログラム（ImPACT）により,
科学技術振興機構を通して委託されたものです.

8. FLIR ONE
https://prod.flir.jp/flir-one/
https://www.youtube.com/watch?v=ZBEG_9jx3eU
低解像度の遠赤外線画像と
高解像度の可視画像を融合
よく見るとエッジの位置がずれている
高精度なキャリブレーションが必要
7

9. 画像合成の必要性
8
マルチモーダル画像を合成することにより，
可視画像の認識の容易さと，
遠赤外線画像の豊富な情報提示を実現
重要な情報を迅速に認識可能
遠赤外画像可視画像 合成画像
人による認識が困難
重要な情報（例：温度）
人による認識が容易
情報が不十分
人による認識が容易
重要な情報（例：温度）

10. 画像融合技術概要
9
画像取得 画像情報抽出 画像情報合成
遠赤外線
カメラ
可視
カメラ
画像合成
ハードウェア
アライメント
ソフトウェア
キャリブレーション
観測画像 重要度マップ 合成画像
ブレンディング
勾配ベース処理
階層型処理
コントラスト抽出
任意重要度抽出
ジョイントフィルタ

11. 可視・遠赤外線同軸撮影システム
10

12. 開発したカメラシステム
11
防塵性を高めるため光学窓が必須
ガラス ゲルマニウム 食品ラップ
可視光 OK NG OK
遠赤外線 NG OK OK
提案システムには食品ラップを光学窓に利用

13. デモビデオ
12
https://youtu.be/M-_W02-RI1Q

14. 画像融合技術概要
13
画像取得 画像情報抽出 画像情報合成
遠赤外線
カメラ
可視
カメラ
画像合成
ハードウェア
アライメント
ソフトウェア
キャリブレーション
観測画像 重要度マップ 合成画像
ブレンディング
勾配ベース処理
階層型処理
コントラスト抽出
任意重要度抽出
ジョイントフィルタ

15. キャリブレーションの必要性
14
可視画像 遠赤外線画像
ハードウェアアラインメントは精度の限界がある
内部パラメータ：画角，解像度，レンズゆがみ
外部パラメータ：カメラ間の平行移動と回転

16. 可視カメラキャリブレーション
15 https://www.vision.caltech.edu/bouguetj/calib_doc/
Zhangのキャリブレーションがデファクトスタンダード
チェッカーパターンを撮影する必要がある

17. 可視カメラ・遠赤外線カメラ（既存）
16
S. Prakash, P. Y. Lee, T. Caelli, and T. Raupach,
Robust thermal camera calibration and 3d mapping of object surface temperatures, SPIE, 2016.
RGB画像 遠赤外画像
印刷したチェッカーパターンを白熱電球で温める
白と黒の熱特性の差により遠赤外線画像でも
チェッカーパターンを確認できる
対応点が不正確（画像がぼけている）
パターンがすぐに不鮮明になる（温度差が小さくなる）

18. Heated
Material
可視カメラ・遠赤外線カメラ（提案）
17
正面
側面
二層構造のキャリブレーションボードを開発
Heated
Material
Heated

19. 可視カメラ・遠赤外線カメラ（提案）
18
正面
側面
二層構造のキャリブレーションボードを開発
Heated
Thermal emission Thermal emission
遠赤外線画像

20. 可視カメラ・遠赤外線カメラ（提案）
19
正面
側面
二層構造のキャリブレーションボードを開発
可視画像 遠赤外線画像
対応点が正確（先鋭な画像）
長時間安定（ぼけない）

21. 時間的な安定性
20
0 sec. 60 sec. 120 sec. 600 sec. 800 sec.
従来手法提案手法
二乗誤差[pix]
経過時間 [sec]
従来手法
(Prakashらの手法)
提案手法
長時間安定的に高精度な
対応点抽出を実現

22. 再構成誤差による定量的精度比較
21
校正手法 可視画像 遠赤外画像
既存 2.360 [pix] 0.1841 [pix]
提案手法 0.139 [pix] 0.0676 [pix]
再投影誤差
従来手法
提案手法
○
○
再投影点分布
可視画像 遠赤外線画像 従来法に比べて
一桁程度高精度

23. 遠赤外線画像の歪み補正結果比較
22
歪み補正前
歪み補正後（既存） 歪み補正後（提案）
提案手法を用いることにより，
レンズ歪みを高精度に補正できる

24. 可視画像と遠赤画像を用いたデノイズ
23
可視画像にノイズを人工的に付加してデノイジング
入力可視画像
入力遠赤外線画像
既存手法
提案手法 原画像
BM3D
提案手法により高画質なデノイズ画像を生成可能

25. 遠赤外線画像アップサンプリング
24
低解像度な遠赤外線画像を高解像度な可視画像を利用してアップサンプリング
入力可視画像
入力遠赤外線画像
既存手法
提案手法
提案手法により高画質にアップサンプリング可能

26. 広視野遠赤外線カメラシステム
25

27. 可視・遠赤外線パノラマシステム
26
可視
カメラ
遠赤外線
カメラ
霧透過性 × ○
解像度 ○ △
広画角 ○ △
可視
カメラ
２台の遠赤外線カメラ
可視画像
遠赤外線画像
可視・遠赤外線画像間の
高精度な位置合わせを実現
本研究で開発したキャリブレーション技術を活用

28. 霧や煙の環境を模擬
27
広画角・高解像度の遠赤外線画像を同期取得
可視・遠赤外線画像の高精度な位置合わせを実現
霧や煙のような環境でも周囲を確認可能
遠赤外線
画像
可視
画像
４倍速再生

29. 画像融合技術概要
28
画像取得 画像情報抽出 画像情報合成
遠赤外線
カメラ
可視
カメラ
画像合成
ハードウェア
アライメント
ソフトウェア
キャリブレーション
観測画像 重要度マップ 合成画像
ブレンディング
勾配ベース処理
階層型処理
コントラスト抽出
任意重要度抽出
ジョイントフィルタ

30. 画像合成
29
可視画像 遠赤外線画像 合成画像
入力画像 単純重ね合わせ 勾配ベース処理

31. 勾配ベース画像合成概要
30
入力画像 出力合成画像
x方向勾配
y方向勾配
x方向勾配
y方向勾配
勾配抽出
（微分）
勾配合成 画像再構成
（積分）

32. 画素値調整
（後処理）
勾配ベース処理
31
勾配ベースの画像編集ツールポアソン合成HDRトーンマッピング
勾配ベース処理の基本フロー
出力画像
勾配抽出
（微分）
勾配操作
(マニピュレーション)
再構成
（積分）
画素値調整：画素値を0-255に合わせる処理．
画素値の範囲は積分するまでわからない．
入力画像

33. 画素値調整の例
32
入力画像 処理画像
画素値×1.5
単純に定数倍すると
255の範囲を超えてしまう
リスケーリング 画素値クロッピング 提案手法

34. 提案手法
33
出力画像
勾配抽出
（微分）
勾配操作
(マニピュレーション)
再構成
（積分）
入力画像
値域情報
𝐹 𝑢 𝑥 =
𝑑=ℎ,𝑣
𝜕 𝑑 𝑢 𝑥 − 𝑞 𝑑 𝑥 2
𝑑𝑥 + G 𝑅[𝑢(𝑥)]
𝑢 𝐱
𝑔 𝑅(𝑢 𝐱 )
𝑅 𝑚𝑖𝑛 𝑅 𝑚𝑎𝑥
固定された値域
値域を超えたら
無限大のペナルティを課す
近接勾配法(Proximal Algorithm)で最適化可能
微分を保存し，かつ
値域に収まるような
画像を出力する

35. デモソフトウェア
34

36. デモビデオ
35
T. Shibata, M. Tanaka, and M. Okutomi,
Gradient-Domain Image Reconstruction Framework with Intensity-Range and Base-
Structure Constraints, CVPR 2016
デモビデオ https://youtu.be/70aLm2zv2ao

37. 画像融合技術概要
36
画像取得 画像情報抽出 画像情報合成
遠赤外線
カメラ
可視
カメラ
画像合成
ハードウェア
アライメント
ソフトウェア
キャリブレーション
観測画像 重要度マップ 合成画像
ブレンディング
勾配ベース処理
階層型処理
コントラスト抽出
任意重要度抽出
ジョイントフィルタ

38. 位置ずれにロバストなジョイントフィルタ
37
T. Shibata, M. Tanaka, and M. Okutomi,
Misalignment-Robust Joint Filter for Cross-Modal Image Pairs, ICCV 2017
http://openaccess.thecvf.com/content_iccv_2017/html/Shibata_Misalignment-Robust_Joint_Filter_ICCV_2017_paper.html

39. ImPACT プロジェクト
38 https://www.youtube.com/watch?v=551-Ic7YZPM

40. 画像融合技術概要
39
画像取得 画像情報抽出 画像情報合成
遠赤外線
カメラ
可視
カメラ
画像合成
ハードウェア
アライメント
ソフトウェア
キャリブレーション
観測画像 重要度マップ 合成画像
ブレンディング
勾配ベース処理
階層型処理
コントラスト抽出
任意重要度抽出
ジョイントフィルタ

41. ご静聴ありがとうございました！
40
田中正行 奥富正敏柴田剛志

42. 関連発表文献
41
[1] 柴田剛志, 田中正行, 奥富正敏, 可視画像と近赤外画像の統合による画像の視認性向上 --デノイズ，デヘイズ等のさまざまな
応用に向けて--, 第21回画像センシングシンポジウム（SSII2015）, pp.IS1-15-1-6, June, 2015.
[2] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Unified Image Fusion based on Application-Adaptive
Importance Measure, Proceedings of IEEE International Conference on Image Processing (ICIP2015), pp.1-5, September,
2015.
[3] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Versatile Visible and Near-Infrared Image Fusion based on High
Visibility Area Selection, Journal of Electronic Imaging, Vol.25, No.1, pp.013016-1-17, January, 2016.
[4] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Multi-spectrum to RGB with Direct Structure-tensor
Reconstruction, Proceedings of IS&T/SPIE Electronic Imaging (EI2016), pp.DPMI-025-1-7, February, 2016.
[5] 柴田剛志, 田中正行, 奥富正敏, 自然な色味を考慮した変分ベースのマルチスペクトル画像フュージョン, 第22回画像センシ
ングシンポジウム（SSII2016）, pp.SO1-IS1-08-1-8, June, 2016.
[6] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Gradient-Domain Image Reconstruction Framework with
Intensity-Range and Base-Structure Constraints, Proceedings of IEEE Conference on Computer Vision and Pattern
Recognition (CVPR2016), pp.2745-2753, June, 2016.
[7] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Accurate Joint Geometric Camera Calibration of Visible and
Far-Infrared Cameras, Proceedings of IS&T International Symposium on Electronic Imaging (EI2017), January, 2017.
[8] 柴田剛志, 田中正行, 奥富正敏, 可視及び遠赤外カメラの高精度同時校正とその応用, 動的画像処理実利用化ワークショップ
(DIA2017)講演論文集, March, 2017. [研究奨励賞]
[9] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, LWIR image visualization preserving local details and global
distribution by gradient-domain image reconstruction, Proceedings of SPIE Defense + Commercial Sensing (DCS2017), April,
2017.

43. 関連発表文献
42
[10] Yuka Ogino, Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Coaxial visible and FIR camera system with
accurate geometric calibration, Proceedings of SPIE Defense + Commercial Sensing (DCS2017), April, 2017.
[11] 荻野有加, 柴田剛志, 田中正行, 奥富正敏, 防塵性を考慮した可視光・遠赤外線同軸カメラシステムの開発, 日本機械学会ロ
ボティクス・メカトロニクス講演会（ROBOMECH2017）, May, 2017.
[12] 吉灘裕，横小路泰義，永谷圭司，昆陽雅司，山下淳，田中正行，大井健，ImPACT タフ・ロボティクス・チャレンジ
(TRC)建設ロボット，単腕モデルによるフィールド評価実験，日本機械学会ロボティクス・メカトロニクス講演会
（ROBOMECH2017）, May, 2017.
[13] Thapanapong Rukkanchanunt, Masayuki Tanaka and Masatoshi Okutomi, Image Enhancement Framework for Low-
resolution Thermal Images in Visible and LWIR Camera Systems, Proceedings of SPIE Security + Defence 2017, September,
2017.
[14] 荻野有加, 田中正行, 柴田剛志, 奥富正敏, 複数の長波長赤外線カメラを用いた広視野カメラシステムの開発, 日本機械学会
ロボティクス・メカトロニクス講演会2018（ROBOMECH2018）, pp.2A1-J06-1-3, June, 2018.
[15] 荻野有加, 田中正行, 柴田剛志, 奥富正敏，可視光・長波長赤外線カメラを用いたマルチモーダル広視野カメラシステムの
開発, 第24回画像センシングシンポジウム（SSII2018）, pp.SO1-IS1-18-1-3, June, 2018.
[16] Thapanapong Rukkanchanunt, Takashi Shiabata, Masayuki Tanaka and Masatoshi Okutomi, Disparity Map Estimation
from Cross-Modal Stereo, Proceedings of 6th IEEE Global Conference on Signal and Information Processing
(GlobalSIP2018), November, 2018.