バーチャルプロダクションのためのカメラの焦点距離を複数の奥行き白線画像群を用いて，CNN回帰により推定する．学習用画像と評価用画像にはOpenGLにより生成したCAVE（洞窟）モデル内部に任意のテクスチャ画像を貼ったCG画像を用いる．カメラ位置は固定されており，任意の固定焦点距離により任意のパンチルト回転を施した複数の回転画像である．焦点距離による仮想的な放射状レンズ収差歪みパラメータ曲線を規定することによって，レンズ収差歪みを含む画像であっても焦点距離が推定可能なこと，レンズ収差歪みのない画像よりも焦点距離の推定精度が向上することを画像シミュレーションによって示す．

1. SSII2025 IS2-17 奥行き白線画像群の CNN 回帰による
焦点距離の自動キャリブレーション
松永 力 , 山下 貴幸 , 館 寿昭
株式会社朋栄 佐倉 R&D センター
E-mail: {matsunaga,yamashita,tate}@for-a.co.jp
2025年5月29日（木）

2. クロマキー合成を使用したフルバーチャル演出
グリーンバックの部分がCGで作られたバーチャルセットに置き換わり，仮想空間を作り出す．
実際のカメラの焦点距離，動きを表すカメラパラメータがCGのレンダリングのために必要になる．

3. 本研究の概要
・バーチャルプロダクションのためのカメラの焦点距離を複数の奥行き白線画像群を用いて，
CNN回帰により推定する．
・学習用画像と評価用画像にはOpenGLにより生成したCAVE（洞窟）モデル内部に任意の
テクスチャ画像を貼ったCG画像を用いる．
・カメラ位置は固定されており，任意の固定焦点距離により任意のパンチルト回転を施した
複数の回転画像である．
・焦点距離による仮想的な放射状レンズ収差歪みパラメータ曲線を規定することによって，
レンズ収差歪みを含む画像であっても焦点距離が推定可能なこと，
レンズ収差歪みのない画像よりも焦点距離の推定精度が向上すること
を画像シミュレーションによって示す．

4. 目合わせによる焦点距離のキャリブレーション
実際の奥行き白線画像例．緑線はCGによるガイドであり，白線との一致具合を見るために
重畳している．このような目合わせによるキャリブレーションをCNN回帰により自動化する．

5. CAVE（洞窟）モデルによる学習用画像の生成
直方体内側の床，天井，両壁，奥行きの五面にランダムに選択したテクスチャを貼る．カメラ位置固定，
任意の固定焦点距離，任意にパンチルト回転させて5枚1組のCG画像群をOpenGLによりレンダリングする．
カメラ
CAVE（洞窟）モデル

6. 放射状レンズ収差歪み画像の生成
焦点距離による仮想レンズ収差歪みパラメータ曲線例．横軸は焦点距離であり，縦軸は放射状歪みパラメータ
k1, k2である．歪みの見やすさのため，白黒チェッカーパターン画像による広角(樽型)，望遠(糸巻型)のパラメータ
曲線両端の歪み画像を示す．

7. CNN回帰ブロック図
320x180x5x3ch
160x90x64ch 80x45x128ch
80x45x128=460800
512
256
1
Flattening
CNN層 全結合層

8. 奥行き白線画像群による焦点距離の推定結果
上段はレンズ収差歪みなしの場合，下段はレンズ収差歪みありの場合である．それぞれ200エポック，
バッチ数64の学習5回の結果であり，左から学習曲線の一例，すべての学習結果による評価画像のFOV
推論結果の真値との残差ヒストグラム，その QQ プロット図である．歪みなしの場合の平均は −0.127，
不偏分散は，11.71であり，歪みありの場合の平均は0.162，不偏分散は，4.53であり，明らかに歪みありの
場合の方がばらつきが少なく，精度の向上が見られる．CNNにより歪み特徴を学習により獲得したことに
起因するものと推察される．

9. CNN層に対する評価用画像の不偏分散の変化
CNN層処理結果の後にMax プーリング層なしのCNN層を重ねていった場合に対するレンズ収差歪みあり
の場合の評価用画像の推論結果の不偏分散の変化を表したグラフである．グラフの目盛りは両対数で
あり，一番左の点がMaxプーリング層なしの拡張CNN層がないネットワークの結果である．その後，拡張
CNN層を1層づつ増やしていった．各点ともに学習回数5回の結果である．CNN層(Parameters)が増す程，
不偏分散(Test Loss Unbiased Variance)が小さくなっていくのがわかる．このようなべき乗則は深層学習に
おいて, LLM(大規模言語モデル)やCNNにも見られる．

10. 実画像実験例
目合わせによるキャリブレーション済みの実際のカメラを用いて撮影した5枚の奥行き白線画像により
キャリブレーションを行った．CNN回帰の学習には実際のカメラのレンズ収差歪みパラメータ曲線に
基づき，Brainstorm社eStudioによりCG画像をレンダリングしたものを用いた．焦点距離の推論結果
は，拡張CNN層を5層としたときに，水平FOV[deg]として 60.162であり，目合わせによる結果は
59.888 であった．Zhangの方法を用いると，61.521であった（カメラの焦点距離はそのままに，チェス
ボードパターンを撮影したHD入力画像5枚から推定した）．

11. まとめと今後の課題
・バーチャルプロダクションのためのカメラの焦点距離を複数の奥行き白線画像群を用いて，
CNN回帰により推定した．
・学習用画像と評価用画像にはOpenGLにより生成したCAVE（洞窟）モデル内部に任意の
テクスチャ画像を貼ったCG画像を用いた．
・カメラ位置は固定されており，任意の固定焦点距離により任意のパンチルト回転を施した
複数の回転画像である．
・焦点距離による仮想的な放射状レンズ収差歪みパラメータ曲線を規定することによって，
レンズ収差歪みを含む画像であっても焦点距離が推定可能なこと，
レンズ収差歪みのない画像よりも焦点距離の推定精度が向上すること
を画像シミュレーションによって示した．

12. まとめと今後の課題（続き）
今後の課題としては，
実際のカメラ画像を用いて，実際の放射状レンズ収差歪みパラメータ曲線に基づき，
焦点距離(FOV)の推定を行うことである．
目合わせでキャリブレーションした結果を真値として，どれくらい近い値が得られるのか?
CG画像を学習用画像と評価用画像として用いることが，本当に有効なのか?
レンズ収差歪みがあってもキャリブレーションが可能なのか?
最終的にバーチャルプロダクションとして実写とCGを合成して違和感がないか?
を検証することである．
そのためには，
実際の放射状レンズ収差歪みパラメータ曲線に基づいた学習用画像を生成しなければならない，
未知のレンズ収差歪みパラメータ曲線を持つレンズのキャリブレーションを行うためには，
様々なレンズ収差歪みパラメータ曲線による学習用画像と評価用画像を用いなければならず，
その可能性と限界を明らかにすべきである．