1. IS2-13:
水平線検出による船体動揺映像の安定化
Stabilization of Ship Rolling Video Images
by Horizon Line Detection
松永 力
Chikara Matsunaga
株式会社朋栄 佐倉研究開発センター
FOR-A Co., Ltd. Sakura R&D Center
E-mail: matsunaga@for-a.co.jp

2. SSII09 第15回画像センシングシンポジウム

3. 監視カメラ
映像ぶれ補正
装置
ぶれ映像
ぶれ補正映像
シーン
SSII09 第15回画像センシングシンポジウム

4. 【光学式】 【電子式】
レンズ レンズ
速度・加速度センサ＋レンズ移動 画像処理
SSII09 第15回画像センシングシンポジウム

5. 2次元並進動きモデルを仮定して，
隣接2画像間のグローバル動きを推定する．
階層ブロックマッチング（ピクセル精度）
1/8
1/4
1/2
原画像
＋ 勾配法（サブピクセル精度）
SSII09 第15回画像センシングシンポジウム

6. 海洋上の船体動揺映像では，，
・ 明るさが一様な空
・ 常に細かく動いている波
・ 波飛沫が掛かる窓を掃くワイパー
→ いずれも画像のグローバルな動きの推定の障害
SSII09 第15回画像センシングシンポジウム

7. 水平線が画像中央で水平になるように動揺補正する．
原画像と検出した水平線 補正画像
SSII09 第15回画像センシングシンポジウム

8. IP変換
平滑化＆間引き
水平エッジ検出
2値化
2値メジアン 静止物体領域マスク生成
ハフ変換
水平線検出
カルマンフィルタ＆水平線消失判定
動揺補正
SSII09 第15回画像センシングシンポジウム

9. インタレース走査されたビデオ信号のフィールド間動きを推定する．
【インタレース走査】 【プログレッシブ走査】
t-1 t-1
t t
field frame
奇数ラインを走査した後， 上下ラインの画素から
偶数ラインを走査する． 内挿補間する．
SSII09 第15回画像センシングシンポジウム

10. IP変換して平滑化した画像を 水平エッジを検出する．
1/2に間引く．
SSII09 第15回画像センシングシンポジウム

11. 濃淡水平エッジ画像 2値化して2値メジアンフィルタ
により孤立点除去する．
→ 静止物体領域マスクを適用
SSII09 第15回画像センシングシンポジウム

12. 静止物体領域を抽出しておく （水平線検出処理には用いない）
1/2間引き画像 静止物体領域マスク画像
→ 適当な間隔の2値画像の
論理積を膨張させる．
SSII09 第15回画像センシングシンポジウム

13. 水平エッジ画素に対してハフ変換を行う．
x x'
V
θ ρ’ y'
ρ O'
θ
y
O H
SSII09 第15回画像センシングシンポジウム

14. ρ' θ
水平エッジ画素のハフ変換結果から最大ピーク値
（水平線）を検出する．
SSII09 第15回画像センシングシンポジウム

15. ハフ変換により検出した水平線が画像中央で水平になるように
動揺補正する．
→ 画像の回転，垂直方向の上下動のみ補正 （直線の自由度２）
有効画素領域の上下領域を反射境界拡張して動揺補正する．
その結果の左右領域を反射境界拡張する （水平線の連続性を保持）．
SSII09 第15回画像センシングシンポジウム

16. ハフ変換領域における水平線を表すピーク位置
の時系列データに対して，カルマンフィルタを適用する．
→ 滑らかな軌跡を得るとともに，次フレームにおける
水平線のピーク位置を予測して，ハフ変換による
水平線の検出の効率化と安定化を図る．
【状態空間モデル】
二階差分モデルの場合,
SSII09 第15回画像センシングシンポジウム

17. 【局所移動物体（ワイパー）のない場合】
原画像と検出した水平線 補正画像
SSII09 第15回画像センシングシンポジウム

18. 【局所移動物体（ワイパー）のない場合】
6 4
5 3
Θ 4 2 Tx
3 1
2
Θ
0 Ty
1 -1
0 Tx -2
-1 Ty -3
-2 -4
6 34
4 33
θ 2 32 ρ’
0 31
-2 30
θ
-4 29
ρ’
-6 28
0 50 100 150 200 250 300 350 400
field
勾配法による剛体フローの推定結果 と ，ハフ変換による
直線パラメータの推定結果 は，いずれも動揺による
周期的な変化が見られる．
SSII09 第15回画像センシングシンポジウム

19. 【局所移動物体（ワイパー）のない場合】
動揺補正結果の隣接２画像間の二乗誤差画像の
ピークSN比の結果
勾配法 ハフ変換
PSNR [dB] 38.86 38.06
（ ）は標準偏差 （±0.394） （±0.515）
ハフ変換による安定化は，勾配法よる安定化の
良い近似と見なせる．
SSII09 第15回画像センシングシンポジウム

20. 【局所移動物体（ワイパー）のある場合】
原画像と検出した水平線 補正画像
SSII09 第15回画像センシングシンポジウム

21. 【局所移動物体（ワイパー）のある場合】
40
ρ' 20
0
-20
-40
prediction
-60 observation
-80
2
θ 1
0
-1
-2 prediction
observation
-3
0 50 100 150 200 250 300 350 400
field
カルマンフィルタによって平滑化されている．
→ 同様補正の結果がさらに安定する．
SSII09 第15回画像センシングシンポジウム

22. 波飛沫により水平線が一時的に観測不能になる場合がある．
→ 水平線を表すハフ変換のピーク値に対しても
カルマンフィルタを適用し，その標準領域の3倍
区間に負の値が含まれる場合を消失と判定する．
SSII09 第15回画像センシングシンポジウム

23. 【水平線が一時的に消失した期間を含む場合】
160
h 120
80
40 h ±3σ
0
50
ρ' 0
-50
-100
-150 ρ’
-200
6
θ 4
2
0
-2
-4
-6 θ
-8
0 100 200 300 400 500 600
field
SSII09 第15回画像センシングシンポジウム

24. ・ 船体動揺映像を映像中の水平線をハフ変換を用いて
検出することにより安定化を行った．
・ 勾配法を用いた剛体フロー推定による安定化手法との
比較を実画像実験により行い，その有効性を確認した．
・ 船体動揺の固有な撮影条件における画像であることを
考慮することによってロバストに画像のグローバルな
動き推定が行えることを示した．
・ 一時的な水平線消失時の判定方法とその場合の対応
処理，水平線の再検出の判定方法について説明し，
実画像実験の結果を示した．
SSII09 第15回画像センシングシンポジウム

25. ・ リアルタイム処理の実装
・ 剛体フローによる安定化手法の組み合わせや使い分け
による様々な船体動揺映像への対応
・ 船体動揺周期の解析による水平線消失フレームの長期予測
・ ヘリコプターや航空機からの映像への応用
SSII09 第15回画像センシングシンポジウム