IS3-08:
          最適コントラスト補正による
           視程障害画像の明瞭化
   Restoration of Low Visibility Image
        under Haze Conditions
    by Optimal Contrast Correction


                 松永 力
            Chikara Matsunaga

    株式会社朋栄 佐倉研究開発センター
    FOR-A Co., Ltd. Sakura R&D Center
      E-mail: matsunaga@for-a.co.jp
SSII09 第15回画像センシングシンポジウム
SSII09 第15回画像センシングシンポジウム
SSII09 第15回画像センシングシンポジウム
SSII09 第15回画像センシングシンポジウム
SSII09 第15回画像センシングシンポジウム
霧,靄,霞,煙霧等の視程障害の発生している画像を
明瞭化する.

大気中の光の輸送に関する物理モデルに基づき,
あるコスト関数を最適化することによって,視程障害
画像をその画像のみから補正し,その視認性を向上
させる.




                SSII09 第15回画像センシングシンポジウム
観測値      I
             大気光   A
                 理想的な
      散乱         画素値    Io    カメラ
物体
     奥行き距離   z



                        SSII09 第15回画像センシングシンポジウム
1枚の画像のみから,画素毎に異なる奥行き距離
による減衰率    を求めることは厳密には不可能.
→ 【仮定】に基き,近似的な解を求める.

【仮定】 奥行き距離は画素毎に異なるが,通常近傍領域
における画素は奥行き距離がほぼ一定であろう.



                   SSII09 第15回画像センシングシンポジウム
放射輸送方程式を減衰のない理想的な画素値
について解く.




大気光 は画像中一様定数として,すべての画素の
最大レベル  とする.

                 SSII09 第15回画像センシングシンポジウム
注目画素を中心とするブロック領域中の画素値の
ヒストグラムから確率密度関数を計算する.
              10                         Histogram
                                         PDF
              9
              8
              7
              6
              5
              4
              3
              2
              1
              0
                   0   0.2   0.4   0.6       0.8     1



                       SSII09 第15回画像センシングシンポジウム
カルバック‐ライブラー(KL)情報量によるコスト関数を
定義して,これを最小にする減衰率      を求める.




     補正画像の確率密度関数
     理想的な画像の確率密度関数


これをすべての画素に対して行う.


                     SSII09 第15回画像センシングシンポジウム
理想的な画像の確率密度関数                    として
ベータ分布   を用いる.
  3.5
                                  α=β= 1
                                  α=β= 2
  3.0                             α=β= 3
                                  α=β= 4
                                  α=β= 6
                                  α=β= 8
  2.5                             N(1/2,1/68)
                                N(1/2,1/68)
                                 N(1/2,1/68)



  2.0


  1.5


  1.0



  0.5



  0.0
        0.0   0.2   0.4   0.6     0.8           1.0



                                        SSII09 第15回画像センシングシンポジウム
SSII09 第15回画像センシングシンポジウム
ニュートン法のための初期値
→ 画像ピラミッドを用いて低分解能画像での推定結果を
  次の分解能画像の初期値とする.
  最も低分解能の画像の初期値は黄金分割法による.


  1/8
        1/4

              1/2


                    原画像



                          SSII09 第15回画像センシングシンポジウム
① 退化状態の回避
② 物体境界領域の不連続性を保持した推定
③ 物体境界領域の不連続性を保持した平滑化




                SSII09 第15回画像センシングシンポジウム
大気光         減衰率は画面一様          ,
ブロックサイズ 21×21画素
                  SSII09 第15回画像センシングシンポジウム
【画面中央ブロック領域】
                                                  10
10                          Histogram
                            PDF             JKL
9                           B(8,8)
                                                  8
8
7
                                                  6
6
5
                                                  4
4
3
2                                                 2

1
0                                                 0
     0    0.2   0.4   0.6       0.8     1          0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9   1

                                                                                  d




                                                           SSII09 第15回画像センシングシンポジウム
【画面左上ブロック領域】
                                                 10
30                         Histogram
                           PDF             JKL
                           B(8,8)
25                                               8



20
                                                 6


15
                                                 4

10
                                                 2
5

0                                                0
    0    0.2   0.4   0.6       0.8     1          0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9   1

                                                                                 d

画素値の分布が集中するとコスト関数が極値を持たない.
→ 退化状態
                                                          SSII09 第15回画像センシングシンポジウム
退化状態を回避するために,大きさの拘束による
正則化項を加える.




     正則化パラメータ (画面一様定数とする)
     べき乗定数



                  SSII09 第15回画像センシングシンポジウム
【画面中央ブロック領域】                                     【画面左上ブロック領域】
      10                                               10

JKL                                              JKL
      8                                                8




      6                                                6




      4                                                4




      2    λ=0                                         2    λ=0
           λ=6                                              λ=6
           λ=8                                              λ=8
      0                                                0
       0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9   1          0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9   1

                                      d                                                d

      大きさの拘束による正則化により,退化状態が回避される.

                                                                  SSII09 第15回画像センシングシンポジウム
ブロック領域による減衰率   の推定のため,,
物体境界領域を含む場合には,推定結果が平滑化されてしまう.




    観測画像       推定した減衰率の画像表示
→ 注目画素  との差分絶対値が の 倍を越える画素は
  物体境界によるものとして推定処理には用いない.

                  SSII09 第15回画像センシングシンポジウム
画素毎の独立な減衰率    の推定のため,,
グラデーション領域で推定結果が等高線のように見える.




    観測画像       推定した減衰率の画像表示

物体境界領域の不連続性を保持した平滑化をしたい.
→ バイラテラルフィルタ
                   SSII09 第15回画像センシングシンポジウム
① 退化状態の回避
→ 大きさの拘束による正則化
② 物体境界領域の不連続性を保持した推定
→ 差分絶対値のメジアン値によるしきい値設定
 (ロバストM推定あるいは線過程)
③ 物体境界領域の不連続性を保持した平滑化
→ バイラテラルフィルタ




                 SSII09 第15回画像センシングシンポジウム
観測画像             補正画像

カラー画像の場合,RGB信号 → 輝度色差信号に変換し,
輝度信号をコントラスト補正して,RGB信号に戻す.

                      SSII09 第15回画像センシングシンポジウム
観測画像       補正画像      擬似奥行き距離画像

擬似奥行き距離画像
→ 画素毎に推定した減衰率    値,   を[0, 255] に変換して
  画像として表示したもの.
                      SSII09 第15回画像センシングシンポジウム
観測画像    補正画像



       SSII09 第15回画像センシングシンポジウム
観測画像   補正画像    擬似奥行き距離画像




              SSII09 第15回画像センシングシンポジウム
観測画像    補正画像



       SSII09 第15回画像センシングシンポジウム
観測画像   補正画像    擬似奥行き距離画像




              SSII09 第15回画像センシングシンポジウム
【リニア変換との比較】




  観測画像          本手法          リニア変換

リニア変換は,画素の最小/最大値を[0, 255]に変換する.




                        SSII09 第15回画像センシングシンポジウム
【ガンマ補正との比較】




  観測画像        本手法        ガンマ補正

ガンマ補正は,リニア変換の結果を二乗する指数変換とする.




                    SSII09 第15回画像センシングシンポジウム
【ヒストグラム等化との比較】




  観測画像           本手法      ヒストグラム等化

ヒストグラム等化は,画像中の全画素のヒストグラム分布を一様とする.

いずれも画像一様な補正方法のため,画素毎の奥行き距離の違いに
十分対応できていない.
                       SSII09 第15回画像センシングシンポジウム
・ 視程障害画像の視認性を向上させるための
 物理モデルに基く新しいコントラスト補正方法を
 提案した.
・ 実際の視程障害画像を処理した結果を
 推定した擬似奥行き距離画像とともに示した.




                 SSII09 第15回画像センシングシンポジウム
・   様々な視程障害画像への適用
・   超パラメータの推定
・   理想的な画像の分布とは?
・   評価方法




                    SSII09 第15回画像センシングシンポジウム

最適コントラスト補正による視程障害画像の明瞭化スライド