1. 水平線検出による船体動揺映像の安定化
Stabilization of Ship Rolling Video Images by Horizon Line Detection
松永 力
Chikara Matsunaga
株式会社朋栄 佐倉研究開発センター
FOR-A Co., Ltd. Sakura R&D Center
E-mail: matsunaga@for-a.co.jp
Abstract 定化は，連続する画像のグローバルな動きを推定する
問題に帰着される．
映像における揺れの存在は，監視作業を妨げる大き 画像の動きの推定は画像処理・コンピュータビジョン
な要因のひとつであり，その安定化は大変重要である． における基本的な問題であり，これまでに多くの研究
画像処理による映像の揺れの安定化は，画像のグロー がなされてきたが，それらは大きく領域ベースによる
バルな動きを推定する問題に帰着される． 手法と，特徴ベースによる手法に分けられる．動画像
海洋上の船舶から撮影される映像には画像の回転揺 圧縮符号化の国際標準規格 MPEG では，ブロックマッ
れが含まれているが，海洋上では明るさが一様な空の チング [16] が用いられ，コンピュータビジョンではオ
ように画像特徴を得ることが困難だったり，海面も常 プティカルフロー [7] がよく用いられるが，いずれも濃
に波が細かく動いていたり，波飛沫がかかる窓を掃く 淡画素を直接処理するものである．一方，位相相関法
ワイパーのような移動物体や船の舳先等の静止物体が [5, 18] のように，画像を周波数変換することによって
存在する．これらはいずれも画像のグローバルな動き 周波数領域で行う処理もある．特徴ベースの方法とし
の推定にとっては大きな障害となる． ては，ハリス作用素 [4] によって抽出したコーナー等の
本論文は，船体動揺時に撮影された映像に含まれる 画像特徴点を用いるものがあり，金澤・金谷は，特徴点
画像の回転と上下動を除去するために，映像中の水平 から二画像間の射影変換を最適に計算した [14]．
線を検出することにより動揺映像の安定化を行うもの カメラ映像の揺れと言えば，いわゆる手ぶれを指す
である． ことが多いが，撮影条件に固有な揺れというものも存
在する．海洋上の船舶から撮影される映像には画像面
を中心とする回転揺れが含まれている．海洋上では，明
1 はじめに
るさが一様な空のように画像特徴を得ることが困難な
昨今のテロ事件，不審船事件，海上犯罪や海難事故 場合が多い．また，海面も常に波が細かく動いていた
の増加に伴い，監視カメラの設置数のみならず，カメ り，波飛沫がかかる窓を掃くために画面全体を覆うよ
ラ映像そのものの品質の向上が期待される．カメラ映 うに動くワイパーのような大きな移動物体が存在する
像における揺れの存在は，監視作業を妨げる大きな要 場合がある．船の舳先等の画像中に大きな静止物体領
因のひとつであり，その安定化は大変重要である． 域が存在する場合もある．これらはいずれも画像のグ
カメラ映像の揺れの安定化を実現する方式は，カメ ローバルな動きの推定にとって大きな障害となる．
ラに取り付けた速度・加速度センサからの情報に基づ 本論文は，船体動揺時に撮影された映像に含まれる
いてカメラのレンズやカメラ自身を動かすことにより 画像の回転，上下動を除去した安定化映像を得ること
揺れを補正する光学式，機械式と呼ばれるものと，画 を目的として，映像中の水平線をハフ変換 [3, 8] を用い
像処理による電子式と呼ばれるものに分けられる． て検出することにより安定化を行う．勾配法を用いた
これらの装置は，一般に画像スタビライザと呼ばれ 剛体フロー推定による安定化手法との比較を実画像実
るが，画像処理による電子式スタビライザは揺れの補 験により行い，その有効性を確認する．画像中に大き
正可能な範囲や装置の耐久性等，多くの点で優位であ な移動物体や静止物体領域の存在する場合でも，船体
る．二画像間のグローバル動きの推定をオプティカル 動揺の固有な撮影条件における画像であることを考慮
フローによって行い，カメラ映像の揺れを安定化させ することによって，ロバストに画像のグローバルな動
た例がある [9]．画像処理によるカメラ映像の揺れの安 き推定が行えることを示す．

2. 本論文の構成は，2 章で画像面の回転を含めた剛体 式（2）の左辺は，
運動と勾配法を用いた剛体フロー推定とそれによる連
続画像列の安定化処理について説明する．3 章では，ハ
I(1) (Rθ x + t)
フ変換を用いた水平線検出による安定化処理について cos θ − sin θ x tx
= I(1) ( + )
説明する．ハフ変換のための前処理や画像中の静止物 sin θ cos θ y ty
体領域を検出したマスク画像の生成，連続画像列にお = I(1) (x cos θ − y sin θ + tx , x sin θ + y cos θ + ty ) (4)
ける水平線の検出結果に対して適用するカルマンフィ
であり，θ が十分小さいときに sin θ ≈ θ, cos θ ≈ 1 と
ルタ [10] について説明する．4 章で実画像実験として，
近似して，さらにテイラー展開すると I(1) は
ハフ変換を用いた水平線検出による安定化の結果，勾
配法を用いた剛体フロー推定による安定化の結果との I(1) (Rθ x + t)
比較，カルマンフィルタを適用した時系列処理の結果，
≈ I(1) (x + tx − yθ, y + ty + xθ)
波飛沫による水平線消失時を含む場合の結果を示し，5
∂I(1) ∂I(1)
章でまとめる． = I(1) (x, y) + (tx − yθ) + (ty + xθ) (5)
∂x ∂y
2 勾配法を用いた剛体フロー推定による と書ける．したがって，t, θ を求めるために次の目的関
安定化 数 J(t, θ) を最小化する．
1 2
隣接する二画像間のグローバルな動きを推定するた J(t, θ) =
2
(tx − yθ)Ix + (ty + xθ)Iy + It (6)
めに勾配法を用いて剛体フローを推定する．はじめに
ここで，
ガウシアンフィルタによる平滑化を行い，間引き画像
を順次生成する [1]．低解像度における二画像間の動き
∂I(1) ∂I(1)
Ix = , Iy = ,
∂x ∂y
を差分絶対値総和を最小とする探索によるブロックマッ
It = I(1) (x, y) − I(2) (x, y) (7)
チングを用いて検出する．その結果を，順次高解像度
における二画像間に伝播させて，整数画素精度の並進 であり， は二画像の重複した領域中のすべての画素
動き量を推定した後，勾配法によって剛体フローを非 に渡る和を表す．式（6）は勾配拘束条件の最小二乗推
整数画素精度で推定する．これはいわゆるオプティカ 定であり，一般に勾配法と呼ばれているが，これは，い
ルフロー [7] に回転を含めた拡張である．得られた剛体 わゆるオプティカルフロー [7] に回転を含めた拡張に
フローを用いて，連続する画像列を剛体変換すること なっている．そこで，勾配法によって求めた剛体運動
によって安定化を実現する．剛体フローの推定とそれ を剛体フローと呼ぶことにする．
による連続画像列の安定化処理について説明する． 式（6）を最小にする tx , ty , θ を定める．式（6）を tx ,
2.1 剛体フロー ty , θ でそれぞれ微分して 0 と置くと次のようになる．
連続する二枚の画像 I(1) , I(2) があるとき，第二画像
∂J
I(2) を原点の周りに θ だけ回転し，t だけ平行移動する
2
= (Ix tx + Ix Iy ty + zIx θ + Ix It ) = 0 (8)
∂tx
と第一画像 I(1) と重なるとする．このとき重なり部分 ∂J 2
= (Ix Iy tx + Iy ty + zIy θ + Iy It ) = 0 (9)
では次の関係が成り立つ． ∂ty
∂J
I(2) (Rθ (x − t)) ≈ I(1) (x) (1) = (Ix tx + Iy ty + z 2 θ + zIt ) = 0 (10)
∂θ
式（1）とは逆に第一画像 I(1) を第二画像 I(2) に重ねる ここで，
とすると，重なり部分では次の関係が成り立つ． z = −yIx + xIy (11)
である．したがって，次の正規方程式を解いて tx , ty , θ
I(1) (Rθ x + t) ≈ I(2) (x) (2)
が求められる．
ただし次のように置いた．  2
 
Ix Ix Iy zIx tx
2
Ix Iy Iy zIy   ty 
  
x tx 
x= , t= ,
y ty zIx zIy z2 θ
 
cos θ − sin θ − Ix It
Rθ = (3)
= − Iy It  (12)
 
sin θ cos θ
− zIt

3. 2.2 連続画像列の安定化
連続する二画像間で画像座標 (x, y), (x , y ) を持つ画
像点が対応しているとし，次のような三次元ベクトル
で表す [11, 13, 14]．
   
x/f0 x /f0
˜
x =  y/f0  , ˜
x =  y /f0  (13)
   
1 1
f0 は x/f0 , y/f0 , x /f0 , y /f0 を 1 のオーダーにする適
当な定数1 である．二画像が異なる位置から平面または
遠景を撮影したものであれば，ある 3 × 3 正則行列 H
が存在して次のように表せる [11, 13, 14]．
˜ ˜
x = Z[H x] (14)
ただし Z[ · ] は第 3 成分を 1 とする正規化であり，ベクト
ル a = (a1 , a2 , a3 ) に対して Z[a] = (a1 /a3 , a2 /a3 , 1)
= a/a3 である．式（14）の関係は射影変換と呼ばれ，
H を射影変換行列と呼ぶ．
剛体フローによる剛体変換は射影変換の部分群であ
り [13]，次のような射影変換行列として表される． 図 1 水平線検出による安定化処理の流れ図
  （Flowchart of our stabilization procedure.）．
cos θ − sin θ tx /f0
H =  sin θ

cos θ ty /f0 

(15) ここで，
0 0 1 n−1 n−1 n−1
Θ= θ(k) , Tx = tx(k) , Ty = ty(k) (17)
画像動揺補正処理は，基準となる第一画像 I(1) から k=1 k=1 k=1
動揺を含む第二画像 I(2) への射影変換行列 H 12 を用い
すなわち，基準となる第一画像から連続する二画像間の
て，第二画像 I(2) を第一画像 I(1) に一致する様に変換
剛体フローを累積加算することによって H 1n が計算さ
すればよい．その手順は次のようになる．
れる．第 n 画像の各画素位置 (i , j ) のベクトル x の射
˜
1. 第二画像の射影変換後の画素座標 (i , j ) を表すベ 影変換の逆像 x = Z[H −1 x ] の濃淡画素値 I(n) (i, j) を
˜ 1n ˜
C
クトル x を計算する．
˜ 画素位置 (i , j ) に書き込むことにより，基準となる第
2. その射影変換の逆像 x = Z[H −1 x ] を計算する．
˜ 12 ˜
一画像に対する第 n 画像の動揺補正画像が生成される．
3. ベクトル x の画素座標 (i, j) を計算する．
˜ H 1n を用いて画像の剛体変換を行うが，剛体変換に
4. 第二画像 I(2) を画素補間によって連続化した画像 よる補正の結果，画素の存在しない領域が見えてしま
I(2) の画素位置 (i, j) の濃淡画素値 I(2) (i, j) を画素
C C う．そこで，予想される動揺による移動・回転量を考慮
位置 (i , j ) に書き込む． して，画像が見切れない様に拡大処理を施す方法が考
えられるが，ここでは，次のような簡易な方法を用い
(i , j ) は整数であるが（ピクセル精度），ステップ 3
る．まず，有効画素領域を指定して，その上下領域を
で計算される (i, j) は一般には実数である．したがって
反射境界拡張した画像を剛体変換により補正する．左
非整数画素（サブピクセル精度）に対しても値が定義
右に関しては，そのようにして補正した画像を反射境
されるように画素補間による画素座標の連続化を行う．
界拡張する．これによって，水平線の見た目の連続性
いま連続する画像 1, 2, . . ., n があり，第 i − 1 画像と
が保存される．
第 i 画像の間の剛体フローを {tx(i−1) , ty(i−1) , θ(i−1) } と
すると，第一画像から第 n 画像への射影変換行列 H 1n
3 ハフ変換を用いた水平線検出による安定化
は式（15）より，第一近似において次のように表される．
  3.1 ハフ変換による水平線検出
cos Θ − sin Θ Tx /f0
H 1n =  sin Θ cos Θ Ty /f0  (16) 前処理
 
0 0 1 ハフ変換 [3, 8] による水平線検出の前処理として，まず
1 例えば画像サイズである． 最初に，インタレース走査による空間的なオフセット

4. を解除する処理を行う [2]．これは，フィールド間の動
きを推定するために，インタレース走査によるフィー
ルド画像をプログレッシブ画像に変換するものである．
フィールド間のグローバルな動きを推定する場合には，
同一フィールド内の上下の走査線における画素から，そ
の間の走査線の画素を補間生成することによって行わ
れる2 [2]．
そのように変換したプログレッシブ画像に対して，処
理全体にかかる計算量を削減するための画素間引き処
理及びノイズ除去のために平滑化処理を行う．ここで 図 2 ハフ変換による直線検出（Line detection
は，標準偏差 1.0 のガウシアンフィルタにより平滑化を by Hough transform.）．
行い，画像サイズを水平垂直ともに 1/2 に間引く．
したがって，検出した画像の回転角 θ, 垂直方向の上
その後，水平線を検出するため，水平エッジ検出を
下動 ρ による動揺補正のための射影変換行列は次のよ
ソーベル作用素により行う．その結果の濃淡エッジ強
うになる．
度画像を大津の二値化法 [17] によって二値画像に変換
する．さらに，二値画像において，孤立エッジ画素や
 
cos(−θ) − sin(−θ) −ρ /f0
ノイズ除去を行うために，注目画素の近傍 3 × 3 画素領  sin(−θ) cos(−θ) 0 (20)
 

域を用いた二値メジアンフィルタ処理を施す． 0 0 1
ハフ変換による直線検出
そのようにして得られた二値化水平エッジ画素に対し 静止物体領域マスク画像の生成
てハフ変換を用いて水平線を検出する．画像の左下を 船の舳先等の画像中における大きな静止物体領域の存
原点として，水平方向を y 軸，垂直方向を x 軸とする 在は，画像のグローバルな動きの推定にとって大きな
と，画像面上の直線は，原点からの距離 ρ と，原点か 障害となる．そこで，静止物体領域を表すマスク画像
らの垂線と x 軸のなす角度 θ によって，次のように表 を予め生成する．ここでは，離散的なある時間間隔の
せる（図 2）． 水平エッジ画像の二値化二画像間の論理積画像に注目
画素の近傍 3 × 3 画素領域を用いた二値メジアンフィル
ρ = x cos θ + y sin θ (18)
タ処理を行い，さらに，近傍 3 × 3∼5 × 5 画素領域を
ハフ変換領域における投票に要するセル数は，船体動 用いたモルフォロジーフィルタによる膨張処理 [15] を
揺時の映像は経験上，概ね ±20◦ 以内であることから， 行う．適当な時間間隔の二画像を取れば，船体動揺の
θ に関しては，0.05◦ 精度で 800 セル，ρ に関しては，処 影響を排除した画像中における静止物体領域画素のみ
理画像の垂直方向サイズの画素精度で 240 セルとする． の抽出が可能になる．静止物体領域画素以外の水平エッ
ジ画素において，ハフ変換を行う．
(ρ, θ) 補正
3.2 カルマンフィルタ
ハフ変換により検出した水平線が画像中央部で水平に
ハフ変換領域における水平線を表すピーク位置 (ρ, θ)
なるように動揺を補正する．直線の自由度は 2 であり，
の時系列データに対して，カルマンフィルタ [10] を適
検出した水平線から画像の回転，垂直方向の上下動を
用し，滑らかな軌跡を得るとともに，次フレームにお
決めることは可能であるが，水平方向の動揺を補正す
ける水平線のピーク位置を予測して，ハフ変換による
るためには自由度が足らない．しかし，画像の回転，垂
水平線の検出の効率化と安定化を図る．さらに，ハフ
直方向の上下動を補正することにより，十分安定化さ
変換領域における水平線を表すピーク値にもカルマン
れた映像が得られるものと考えられる．
フィルタを適用し，その共分散行列の変化から水平線
座標系の原点を画像左下から中心になる様，座標変
の消失を判定する．
換すると，検出された直線は次のように表される．
V H カルマンフィルタによるろ波と予測
ρ = x−
2
cos θ + y −
2
sin θ ハフ変換により検出された水平線のピーク位置の観測
V H 系列 {η (t) } = (ρ(t), θ(t)) に対して，次のような状態
= ρ− cos θ − sin θ (19)
2 2 空間モデルを仮定する [6]．
ここで，H, V はそれぞれ画像の水平，垂直方向の画素
サイズである． ξ(t) = F ξ (t−1) + Gw(t) (21)
2 勾配法による動き推定においても，同様に行った． η (t) = Lξ(t) + e(t) (22)

5. w(t) はシステムノイズであり，平均 0，共分散行列 Q 水平線消失の判定と対応
= diag(τρ , τθ ) とする．e(t) は観測ノイズであり，平均
2 2
カルマンフィルタによる予測結果を中心とする標準領
0，平均共分散行列 P = diag(σρ , σθ ) とする．
2 2
域の三倍領域におけるピーク位置を探索することから，
状態ベクトル ξ (t) は，ハフ変換により検出された水 ハフ変換による水平線の検出の効率化と安定化を図る
平線のピーク位置の観測系列 {η (t) } に対応する．これ ことができるが，水平線が見えない場合に処理は破綻
を推定することで，滑らかな位置系列が得られる．二 する．濃霧等の気象条件によって水平線が常に観測不能
階差分モデルの場合には，現時刻 t 及び一時刻前 t − 1 な場合には処理を行うことはできない．しかし，水平線
の座標を，それぞれ以下のように持つ． が検出されて補正処理を行っている途中に波飛沫等に
よって一時的に観測不能に陥るような場合には，処理
ξ(t) = (23)
を中断し，再び水平線が検出されると処理を再開する
ρ(t) θ(t) ρ(t − 1) θ(t − 1)
状態遷移行列 F ，システムノイズ行列 G，及び観測行 ことは可能であろう．そこで，検出されていた水平線が
列 L には，それぞれ以下のものを用いる． 消失したことの判定方法とその場合の対応処理，再び
    水平線が検出されたことの判定方法について説明する．
2 0 −1 0 1 0
    ハフ変換領域における水平線を表すピーク値に対し
 0 2 0 −1  0 1
F =
1 0 0
 , G= , てもカルマンフィルタを適用し，カルマンフィルタか
0  0 0
    ら計算される標準領域の三倍区間が負の値を含む場合
0 1 0 0 0 0
に水平線消失と判定することにする3 ．ハフ変換領域に
L=
1 0 0 0
(24) おける水平線のピーク位置の観測系列にピーク値 h(t)
0 1 0 0 を加えて，{η(t)} = (ρ(t), θ(t), h(t)) とすると，状態
カルマンフィルタのアルゴリズムは次のようになる ベクトル ξ (t) は次のようになる．
[6]．
ξ (t) = ρ(t) θ(t) h(t)
1. 時刻 t = 1 における一期先予測分布として，平均
(32)
ベクトル ξ (0) ，共分散行列 V (0) の正規分布を初期
ρ(t − 1) θ(t − 1) h(t − 1)
分布として仮定する． システムノイズ w(t) による共分散行列 Q =
2. ろ波を次式により行う． diag(τρ , τθ , τh )，観測ノイズ e(t) による共分散行列 P
2 2 2
K (t) = V (t|t−1) L (LV (t|t−1) L + P )−1 (25) = diag(σρ , σθ , σh ) とする．状態遷移行列 F ，システム
2 2 2
ノイズ行列 G，及び観測行列 L は次のようになる．
ξ (t|t) = ξ (t|t−1) + K (t) (η (t) − Lξ (t|t−1) ) (26)
   
V (t|t) = (I − K (t) L)V (t|t−1) (27) 2 0 0 −1 0 0 1 0 0
   
 0 2 0 0 −1 0  0 1 0
ここで，I は四次の単位正方行列である．
   
0 0 2 0 0 −1  0 0 1
3. 一期先予測を次式により行う． F =  , G= ,
   
1 0 0 0 0 0 
 0 0 0
  
0 1 0 0 0 0  0 0 0
ξ (t+1|t) = F ξ (t|t) (28)    
0 0 1 0 0 0 0 0 0
V (t+1|t) = F V (t|t) F + GQG (29)  
1 0 0 0 0 0
式中，添字 (t |t) は，時刻 t における時刻 t の推定 L=0 1 0 0 0 0
 
(33)
値を表す． 0 0 1 0 0 0
一期先予測による平均ベクトルを ξ ，共分散行列を
ˆ
式（25）における I は六次の単位正方行列になる．
V とする．観測系列 {η (t) } の最適推定値 η は式（22）
ˆ ˆ
水平線消失の判定後，カルマンフィルタの最終予測
より，次のようになる．
値による補正量を指数関数的に減少させてゆく（忘却
ˆ ˆ
η = Lξ (30) 補正処理）．
∆ξ を V の対角要素の平方根からなるベクトルとする
ˆ ˆ ρ(t) ← ρ0 e−αρ t , θ(t) ← θ0 e−αθ t , t = 1, 2, . . . (34)
と，ξ, η の標準領域は，
ˆ ˆ
ここで，ρ0 , θ0 は消失フレーム判定後の最終予測値で
ˆ ˆ
ξ (±) = ξ ± ∆ξ, η (±) = Lξ(±) (31) あり，αρ , αθ は適当な時定数である．t は，忘却補正処
理を始めるフレームからのフレーム数である．
と計算されるベクトルによる領域である．ここで，ベ
クトル a(±) は二つのベクトル a(+) , a(−) を表す． 3h はハフ変換領域における投票数であるから必ず 0 以上である．

6. (a) (b) (c)
(d) (e)
図3 (a) 原画像（Original image with detected line.） (b) 二値化及びメジアンフィルタ画像（Binarized
．
median filter image.） (c) ハフ変換領域の画像表示（Hough transform.） (d) 補正画像（The corrected
． ．
image.） (e) 推定パラメータの時系列変化（Time series of rigid flow and horizon line parameters.）
． ．
水平線が消失したと判定されると，ハフ変換領域の ハフ変換により検出した水平線により動揺補正した
全探索を開始する．水平線が再び検出されたことは，ハ 結果が図 3(d) である．水平線が画像中央で水平になる
フ変換領域における最大ピーク値 h が水平線消失時の ように補正した．補正結果がわかりやすいように補正
直前の値における標準領域の三倍区間の上限値を越え による画像の見切れはそのままにしてある．
たことから判定する．補正処理の開始時にも，補正画 図 3(d) は，動揺映像の勾配法によって推定した剛体
像の不連続性を避けるために，補正量を指数関数的に フローの式（17）により計算される各パラメータの累
増加させてゆく（漸次補正処理）． 積加算結果とハフ変換により検出された水平線の直線
パラメータの時系列変化のグラフである．横軸はインタ
4 実画像実験 レース走査されたビデオにおけるフィールド単位であ
る6 ．いずれもカルマンフィルタ処理を行っている．剛
図 3(a) は船体動揺時に撮影された映像中の一枚の画 体フローにおける並進ベクトルの垂直成分 Tx と回転角
像であり，ハフ変換により検出した水平線を重ねて表 Θ，ハフ変換による水平線の直線パラメータ (ρ , θ) は，
示している．画像のサイズは 720 × 480 画素4 である． いずれも動揺による周期的な変化が見られるが7 ，動
はじめに，インタレース−プログレッシブ変換した 揺補正結果の隣接二画像間の二乗誤差画像のピーク SN
後，標準偏差 1.0 のガウシアンフィルタにより平滑化し 比により定量的に評価する．ピーク SN 比 P SN R は二
て，画像サイズを水平垂直ともに 1/2 に間引いた画像 乗誤差画像の平均輝度値（平均ノイズ電力）M SE 及び
をソーベル作用素により水平エッジを検出する．濃淡 最大輝度値（最大信号電力）Imax から次のように求め
2
エッジ強度画像を大津の二値化法によって 2 値化して， られる8 ．
二値メジアンフィルタにより処理した結果が図 3(b) で
2
Imax
ある5 ． P SN R [dB] = 10 log10 (35)
M SE
二値メジアンフィルタ結果に対してハフ変換を行い，
ハフ変換領域への投票結果を画像として表示したものが P SN R の平均値は，剛体フローの場合に 38.86(±0.394)
図 3(c) である．その最大ピーク位置を検出し，式（19） [dB] であり，ハフ変換の場合に 38.06(±0.515)[dB] で
により変換すると，ρ = −33.614 画素, θ = −3.8 で ◦ あった（括弧内は標準偏差を表す） ．剛体フローの並進
あった． 6 日本の場合，1 フィールドは 1/59.94[秒] である．
7 剛体フローによる安定化処理は，第一フレームを基準として補
正パラメータが得られるが，ハフ変換による方法は常に水平線が画
4 ただし，フレームである． 像中央で水平になるような補正パラメータが得られる．
5 見易さのために白黒反転して表示している．図 3(c) も同様． 8 実験では，I
max を 8 ビット最大画素値 255 とした．

7. (a) (b) (c)
(d) (e)
図 4 (a) 原画像（Original image with detected line.）．(b) 静止領域マスク画像（Still pixel mask
image.）．(c) ハフ変換領域の画像表示（Hough transform.）．(d) 補正画像（The corrected image.）．
(e) 水平線の直線パラメータの時系列変化（Time series of horizon line parameters.） ．
ベクトルの水平成分 Ty はほぼ無視できて，ハフ変換に 平になる様に補正されると，逆に静止物体領域である
よる安定化は剛体フローによる安定化の良い近似と見 舳先が動いてしまうが，水平線が常に固定されること
なせる． によって船の進行方向前方の監視には効果的である．
図 4(a) は，水平線は見えているものの，画像中に船 図 4(e) は動揺映像の水平線の直線パラメータの時系
の舳先が静止物体領域として存在し，波飛沫がかかる 列変化のグラフである．動揺による周期的な変化が見
窓を掃くワイパーが画面全体を覆うように動いている られるが，カルマンフィルタのろ波の効果により推定
場合の画像である．静止物体領域のマスク画像を用い 結果の軌跡が滑らかであることがわかる．これにより，
たハフ変換により検出された水平線も重ねて表示する． さらに動揺補正の結果が安定になることが期待される．
このような画像中に大きな静止物体や，移動物体が存 図 5 は水平線が波飛沫により一時的に消失した場合
在するような画像は，単純な勾配法を用いた剛体フロー を含む水平線の直線パラメータとそのハフ変換の投票
推定による安定化では不可能である． によるピーク値の時系列変化のグラフである．h はカル
図 4(b) は予め適当な間隔の二画像から求めたマスク マンフィルタにおける共分散行列から計算される標準
画像である ．船の舳先が静止物体領域として抽出され
9
領域の三倍区間も表示している．h の標準領域の三倍区
ている．動揺補正処理に際して事前にこのような処理 間が負の値を含む矢印の箇所で水平線が消失したと判
を行うことは可能である． 定した．その後，忘却補正処理が行われ，ハフ変換領
ハフ変換領域への投票結果を画像として表示したも 域における最大ピーク値 h が水平線消失時の直前の値
のが図 4(c) である．ハフ変換により検出された水平線 における標準領域の三倍区間の上限値を越えたことか
の直線のパラメータは，ρ = 57.59 画素，θ = 1.35 で ◦
ら，水平線が再び検出されたと判定して，漸次補正処
あった．検出した直線により動揺補正した結果が図 4(d) 理が行われている．
である．動揺補正において，上下左右の画素の存在し
ない領域は，反射境界拡張による補正としている．左 5 まとめ
右の反射境界拡張により水平線の見た目の連続性が保
存されている． 本論文では，船体動揺時に撮影された映像に含まれ
船の舳先の手すりを水平線と誤検出することなく，正 る画像の回転，上下動を除去した安定化映像を得るこ
しい水平線が検出されており，水平線が画像中央で水 とを目的として，映像中の水平線をハフ変換を用いて
平になるように補正した．水平線が常に画像中央で水 検出することにより安定化を行った．勾配法を用いた
剛体フロー推定による安定化手法との比較を実画像実
9 見易さのために白黒反転して表示している．図 4(c) も同様．

8. 図5 水平線の直線パラメータの時系列変化（水平線消失時を含む） Time series of horizon line param-
（
eters with vanishing horizon.）．
験により行い，その有効性を確認した．画像中に大き [4] C. Harris and M. Stephens, A combined corner and
な移動物体や静止物体領域の存在する場合でも船体動 edge detector, Proceedings of the 4th ALVEY vision
揺の固有な撮影条件における画像であることを考慮す
conference, September 1988, University of Manch-
ester, England, 147–151.
ることによってロバストに画像のグローバルな動き推 [5] L. Hill and T. Vlachos, On the estimation of global
定が行えることを示した．一時的な水平線消失時の判 motion using phase correlation for broadcast ap-
定方法とその場合の対応処理，水平線の再検出の判定 plications, IEE International Conference on Image
方法について説明し，実画像実験の結果を示した． Processing and it’s Applications (IPA), Manchester,
1999, 721–725.
本論文における水平線検出による動揺補正処理のた
[6] 廣田薫，生駒哲一， 確率過程の数理」
「 ，朝倉書店，2001.
めの動き推定は，ブロックマッチングやオプティカル [7] B. K. P. Horn and B. G. Schunck, Determining optical
フローの領域ベースの方法に対して，直線という画像 flow, Artificial Intelligence, 17 (1981), 185–203.
特徴を検出する特徴ベースの方法を用いたものと位置 [8] P. V. C. Hough, Methods and means for recognition
付けられる．今後の課題としては， complex pattern, U. S. Patent 3,069,654 (1962).
[9] M. Irani, B. Rousso and S. Peleg, Recovery of ego-
• リアルタイム処理の実装 motion using region alignment, IEEE Transactions
• 剛体フローによる安定化手法の組み合わせや使い on Pattern Analysis and Machine Intelligence, 19-3
(1997), 268–272.
分けによる様々な船体動揺映像への対応
[10] R. E. Kalman, A new approach to linear filtering
• 船体動揺周期の解析による水平線消失フレームの and prediction problems, Transactions of the ASME–
長期予測 Journal of Basic Engineering, 82-D (1960), 35–45.
[11] K. Kanatani, Statistical Optimization for Geometric
等があげられる． Computation: Theory and Practice, Elsevier Science,
本論文における動揺補正処理は，船体動揺時の映像 Amsterdam, The Netherlands, April 1996.
のみならず，ヘリコプターや航空機からの映像におい [12] 金谷健一， 「これなら分かる応用数学教室—最小二乗法
からウェーブレットまで—」, 共立出版，2003 年 6 月．
ても水平線或いは地平線を検出することから同様に行
[13] 金澤 靖，金谷 健一，幾何学的 AIC による画像モザイ
うことが考えられる．そのような応用も今後の課題と ク生成の安定化, 電子情報通信学会論文誌 A, J83-A-6
したい． (2000), 686–693.
[14] 金澤 靖，金谷 健一，段階的マッチングによる画像モザ
参考文献 イク生成, 電子情報通信学会論文誌 D-II, J86-D-II-6
(2003), 816–824.
[1] P. Burt and E. H. Adelson, The Laplacian pyramid as [15] 小畑 秀文， 「モルフォロジー」 ，コロナ社，1996 年．
a compact image code, IEEE Transactions on Com- [16] ISO/IEC-11172, Coding of moving pictures and as-
munication, 31 (1983), 532–540. sociated audio for digital storage media up to 1.5
[2] G. de Haan and E. B. Bellers, Deinterlacing–An Mbits/s, 1993.
overview, Proceedings of the IEEE, 86-9 (1998), [17] N. Otsu, A threshold selection method from gray-
1839–1857. level histograms, IEEE Transaction on System, Man,
[3] R. O. Duda and P. E. Hart, Use of the Hough trans- and Cybernetics, 9, (1979), 62–66.
formation to detect lines and curves in pictures, Com- [18] G. A. Thomas, Television motion measurement for
munications of ACM, 15-1 (1972), 11–15. DATV and other applications, BBC R&D Reports
RD1987/11, 1987.