Kanamori cedec2011

経年変化のモデリング技術,[object Object],2011/09/08,[object Object],金森由博 (筑波大学),[object Object],kanamori@cs.tsukuba.ac.jp,[object Object]

ご注意,[object Object],このスライドは CEDEC2011 にて発表した講演のスライドです,[object Object],動画をご覧になりたい方は、下記 URL にてスライドの zip ファイルをダウンロードして下さい,[object Object],http://kanamori.cs.tsukuba.ac.jp/index-ja.html,[object Object],アプリケーションは公開を検討中です,[object Object]

自己紹介,[object Object],金森由博 (かなもりよしひろ),[object Object],2009 年 3 月　　東京大学で博士号取得（西田研卒）,[object Object],2009 年 4 月～　筑波大学大学院・助教,[object Object],研究テーマ,[object Object],学生時代・・・CG 全般,[object Object],変形、シミュレーション、レンダリングなどなど,[object Object],筑波大,[object Object],画像処理っぽい CG,[object Object],流体シミュレーション結果の GPU による,[object Object],高速レンダリング (Eurographics 2008),[object Object]

研究室紹介 (1/2),[object Object],非数値処理アルゴリズム研究室 (NPAL),[object Object],CG 系の研究室,[object Object],教員 3 人、学生 15 人,[object Object],折り紙の研究で有名な三谷純先生のいる研究室,[object Object]

研究室紹介 (2/2),[object Object],研究テーマの例,[object Object],ポップアップカードのデザインシステム(Computer Graphics International 2011),[object Object],画像ベースの髪型デザインシステム(Pacific Graphics 2011),[object Object],1枚の画像からの3Dシーン生成システム,[object Object],(IEEE Computer Graphics & Applications),[object Object],Synthesized,[object Object],A face image,[object Object]

詳しくは・・・,[object Object],ぜひ「筑波大　NPAL」でググってください,[object Object]

この講演の内容,[object Object],以下の 2 つの研究内容を紹介,[object Object],“粒子シミュレーションによる水汚れ画像生成システム“,[object Object],Smart Graphics 2010 で発表,[object Object],"アピアランスマップを用いた景観画像のための対話的な経年変化編集システム“,[object Object],Computer Graphics International 2011 で発表,[object Object],主として研究を行った,[object Object],遠藤結城君 (現在 M2),[object Object]

「経年変化のモデリング」とは？,[object Object],見た目の古さ・新しさを制御する技術,[object Object],「きれいなCG」に足りない写実性を実現,[object Object],画像はいずれも”Appearance Manifolds for Modeling Time-Variant Appearance of Materials”　から抜粋,[object Object],新しい,[object Object],古い,[object Object]

これまでの経年変化手法,[object Object],大きく分けて 2 通りのアプローチ,[object Object],物理シミュレーションによる手法,[object Object],特定の経年変化をシミュレーションによって再現,[object Object],物理則に即した変化を再現可能,[object Object],サンプルベースの手法,[object Object],画像や測定データなど、実データを利用,[object Object],実在するサンプルを利用するため、写実的,[object Object]

物理シミュレーションによる手法,[object Object],サビ [Dorsey 1996] ,[object Object],苔 [Desbenoit 2004],[object Object],石の風化 [Dorsey 1999],[object Object]

サンプルベースの手法 (1/2),[object Object],Gu et al., Time-varying Surface Appearance: Acquisition, Modeling, and Rendering, SIGGRAPH 2006,[object Object],サンプル素材の反射率の、時間変化を測定,[object Object],新しい,[object Object],古い,[object Object],3D モデルに適用,[object Object]

サンプルベースの手法 (2/2),[object Object],Wang et al., Appearance Manifolds for Modeling Time-Variant Appearance of Materials, SIGGRAPH 2006,[object Object],1 つのサンプル素材の反射率を測定,[object Object],3D モデルに適用,[object Object],経年変化を含むサンプル素材,[object Object],新しい,[object Object],古い,[object Object]

我々の研究,[object Object],2 つのアプローチの両方に取り組む,[object Object],水汚れ・・・物理シミュレーション,[object Object],物体表面の凹凸、曲面形状、透視投影を考慮,[object Object],アピアランスマップ・・・サンプルベース,[object Object],様々な経年変化をサポート,[object Object],どちらも入力は 3D モデルではなく画像,[object Object],一般ユーザが手軽に使えるように,[object Object]

粒子シミュレーションによる水汚れ画像生成システム,[object Object],An Interactive Design System for Water Flow Stains on Outdoor Images,[object Object]

研究背景 (1/2),[object Object],水汚れ・・・目立ちやすい経年変化のひとつ,[object Object],建物の壁面、屋外の像など,[object Object],2011/6/16,[object Object],CESA Confidential,[object Object],15,[object Object],水汚れを含む建物の写真,[object Object]

研究背景 (2/2),[object Object],手作業で実現しようとすると・・・,[object Object],実写素材の利用,[object Object],ペイントツールの利用,[object Object],集めるのが大変,[object Object],塗るのが大変,[object Object]

我々のシステム,[object Object],画像を入力として、水汚れを簡単に付加,[object Object],[Dorsey 1999] の 3D モデル向け手法がベース,[object Object],After,[object Object],Before,[object Object]

ベースとなる手法 [Dorsey 1999],[object Object],3D モデル表面での粒子シミュレーション,[object Object],水滴を粒子として表現,[object Object],　　 ↓,[object Object],重力や摩擦力などの影響を受け物体表面を流れる,[object Object],水の吸収・蒸発,[object Object],汚れの溶解・沈着,[object Object],3D モデル表面での,[object Object],粒子シミュレーション,[object Object]

ベースとなる手法 [Dorsey 1999],[object Object],3D モデル表面での粒子シミュレーション,[object Object],After,[object Object],Before,[object Object]

我々のアプローチ,[object Object],既存手法は3D モデルが対象,[object Object],物体形状や奥行きの情報が既知,[object Object],提案手法は2D 画像(景観写真の建物)が対象,[object Object],物体形状や奥行きの情報が未知,[object Object],物体形状や奥行きの情報を,[object Object],画像やユーザ入力から推定しシミュレーション,[object Object]

提案システムの特徴,[object Object],インタフェース・・・簡易操作が可能,[object Object],シミュレーション,[object Object],物体表面の凹凸を考慮,[object Object],曲面形状・透視投影の効果を考慮,[object Object],Input,[object Object],Output,[object Object],提案システム,[object Object]

ユーザインタフェース,[object Object],インタフェース画面,[object Object]

ユーザインタフェース,[object Object],粒子の流れの制御,[object Object],(シミュレーション範囲等の指定),[object Object],インタフェース画面,[object Object]

ユーザインタフェース,[object Object],パラメータの調節,[object Object],(汚れの濃さなど),[object Object],インタフェース画面,[object Object]

ユーザインタフェース,[object Object],水汚れの色の選択,[object Object],インタフェース画面,[object Object]

粒子の流れの制御 (1/2),[object Object],粒子シミュレーションの開始位置・終端の指定,[object Object],粒子の初期位置（青線から流れ出す）,[object Object],シミュレーションの終端（緑線に触れると消える）,[object Object]

粒子の流れの制御 (2/2),[object Object],曲面形状・透視投影の効果を考慮した流れ,[object Object],コントロールメッシュの利用 [Eisenacher 2008],[object Object],曲面形状,[object Object],透視投影,[object Object]

シミュレーションパラメータ (1/2),[object Object],水の量　,[object Object],(Water Amount),[object Object],吸収率,[object Object],(Absorptibity),[object Object],粒子の大きさ,[object Object],(Particle Size),[object Object],小,[object Object],水跡の数が変化,[object Object],水跡の太さが変化,[object Object],水跡の長さが変化,[object Object],大,[object Object]

シミュレーションパラメータ (2/2),[object Object],汚れの溶けやすさ ,[object Object],(Deposition Resolvability),[object Object],粗さの影響度合い ,[object Object],(Surface Roughness),[object Object],汚れの量 ,[object Object],(Deposition Amount ),[object Object],　小,[object Object],凹凸部の汚れ量が変化,[object Object],汚れの濃さが変化,[object Object],汚れの滲みが変化,[object Object],　大,[object Object]

提案システムの特徴,[object Object],インタフェース・・・簡易操作が可能,[object Object],シミュレーション,[object Object],物体表面の凹凸を考慮,[object Object],曲面形状・透視投影の効果を考慮,[object Object],透視図,[object Object],凹凸のある物体表面,[object Object]

画像からの物体表面の凹凸の考慮,[object Object],タイルの溝のような凹凸部分では汚れが横に拡散し多く沈着,[object Object],凹凸のある物体表面(実写),[object Object]

画像からの物体表面の凹凸の考慮,[object Object],タイルの溝のような凹凸部分では汚れが横に拡散し多く沈着,[object Object],凹凸部分では画像の輝度が大きく変化,[object Object],粒子を輝度変化の大きい位置で散乱・減速させる,[object Object],垂直方向の輝度値の変化,[object Object],水平方向の輝度値の変化,[object Object],グレースケール画像,[object Object]

画像からの物体表面の凹凸の考慮,[object Object],タイルの溝のような凹凸部分では汚れが横に拡散し多く沈着,[object Object],凹凸部分では画像の輝度が大きく変化,[object Object],粒子を輝度変化の大きい位置で散乱・減速させる,[object Object],凹凸考慮なし,[object Object],凹凸考慮あり,[object Object],元画像,[object Object]

メッシュ上での粒子シミュレーション(1/2),[object Object],ヤコビ行列Jにより画素の座標を計算,[object Object],p = (x,y),[object Object],x = (u, v),[object Object],パラメータ空間,[object Object],シミュレーション空間,[object Object],x’ : 1ステップ前のパラメータ座標,[object Object],: ヤコビ行列 (Bezier 曲面から計算),[object Object]

メッシュ上での粒子シミュレーション(2/2),[object Object],視点から遠いほど粒子が同じ画素座標に留まる時間が長くなる,[object Object],遠くの汚れが濃くなってしまう,[object Object],“粒子の大きさ(水跡の太さ)”も一定,[object Object],汚れの濃さや粒子の大きさを透視図に合わせて調節,[object Object]

汚れ量や粒子の大きさの調節,[object Object],メッシュの面積の比率が小さいほど視点から遠くにあるとみなす,[object Object],各パラメータに以下の係数 ρ(x) を乗ずる,[object Object],コントロールメッシュ,[object Object],det (J(x)): ヤコビアン,[object Object],ρ(x)を可視化した画像（白=1⇔黒=0）,[object Object]

透視図への適用,[object Object],コントロールメッシュを使用することで透視図に合った水汚れを生成,[object Object],透視投影の補正あり,[object Object],透視投影の補正なし,[object Object]

曲面形状への適用,[object Object],×2 speed,[object Object]

適用例 (1/3),[object Object],壁面上部から粒子を流した結果,[object Object], 3 min,[object Object], Before,[object Object],512×384 pixel,[object Object],After,[object Object]

適用例 (2/3),[object Object],レンガ模様,[object Object],4 min,[object Object], Before,[object Object],452×491 pixel,[object Object],After,[object Object]

適用例 (3/3),[object Object],曲面形状を含む建物,[object Object], 10 min,[object Object], Before,[object Object],741×494 pixel,[object Object],After,[object Object]

ユーザテスト,[object Object],写実的な水汚れを簡単に作成できるか評価,[object Object],被験者: 6人,[object Object],制限時間: 20分以内で満足するまで,[object Object],編集時間, 結果の写実性に関して提案システムの有効性を確認,[object Object],Photoshop CS4 ®,[object Object],参考例,[object Object],　 (実写),[object Object],　入力画像,[object Object],提案システム,[object Object]

まとめ,[object Object],画像に対話的に水汚れを付加するシステム,[object Object],粒子シミュレーション,[object Object],物体表面の凹凸を考慮,[object Object],透視図や曲面形状を考慮,[object Object],適用例とユーザテストで有効性を確認,[object Object],今後の課題,[object Object],影や模様の影響を受けないシミュレーション,[object Object],影の除去 [Finlayson 2002],[object Object], Before After,[object Object], Before After,[object Object]

アピアランスマップを用いた景観画像のための対話的な経年変化編集システム,[object Object],Weathering effects with geometric details for images,[object Object],2011/9/8,[object Object],CESA Confidential,[object Object],48,[object Object]

研究のモチベーション,[object Object],前半の研究は「水汚れ」に特化,[object Object],様々な経年変化を画像処理で再現したい,[object Object],49,[object Object],新しくしたい,[object Object],古くしたい,[object Object],Before,[object Object],After,[object Object]

既存手法,[object Object],Xue et al., Image Based Material Weathering, Eurographics2008,[object Object],画素情報から Appearance Manifold を構築,[object Object],陰影を含む画像や複雑な形状に適用可能,[object Object],Before,[object Object],After,[object Object]

Appearance Manifold,[object Object],ピクセルの色情報から構築した 3D モデル,[object Object],RGB 色空間ではなく Lab 色空間で計算,[object Object],51,[object Object],2 つの色の間の距離が人間の知覚に合っているような色空間,[object Object],処理する領域をユーザが指定,[object Object],Appearance Manifold,[object Object],構築・トラバースが高コスト,[object Object]

我々のアプローチ,[object Object],Appearance Manifold より低コストなAppearance Map [Bandeira 2009] を利用,[object Object],経年変化による色の変化だけでなく表面のざらつきの変化も対応,[object Object],直感的な編集ツールを提供,[object Object],ブラシ型編集ツール,[object Object],経年変化素材の適用,[object Object]

基本的な計算手順 (1/5),[object Object]

基本的な計算手順 (2/5),[object Object],アピアランスマップの構築,[object Object],各画素の情報をLab色空間のab平面にプロット,[object Object],非風化地点A と風化地点B を指定,[object Object],２点をもとに各点の経年変化度合を線形にパラメータ化,[object Object],B,[object Object],A,[object Object],線形にパラメータ化,[object Object],経年変化度合d[0, 1],[object Object],緑: 非風化　赤: 風化,[object Object]

陰影マップの計算,[object Object],陰影マップ・・・物体の形状による陰影 S ,[object Object],経年変化度合 dが同じ画素で平均を取る,[object Object],W(x,y) = E(I(x,y)|d)としてやれば,[object Object],I(x,y) = S(x,y) × W(x,y)　を仮定,[object Object],入力画像の輝度,[object Object],陰影マップ,[object Object],経年変化による輝度変化,[object Object],定数値、経年変化では不変と仮定,[object Object],陰影マップ,[object Object],E(I(x,y)|d)= E(S(x,y) × W(x,y) |d),[object Object],　　　　　 = S×E(W(x,y)|d),[object Object],S(x,y) = I(x,y) / W(x,y),[object Object],　　 = I(x,y) /E(I(x,y)|d),[object Object],経年変化度合d[0, 1],[object Object],緑: 非風化　赤: 風化,[object Object]

基本的な計算手順 (4/5),[object Object],経年変化の分布マップの時間変化,[object Object],分布マップ,[object Object],分布マップ,[object Object],平滑化,[object Object],平滑化,[object Object],・・・,[object Object],加算,[object Object],加算,[object Object],分布マップ,[object Object],×速度(0.025),[object Object],×速度(0.025),[object Object],伝播マップ,[object Object],伝播マップ,[object Object]

既存手法の問題点,[object Object],経年変化による陰影の変化は再現不可,[object Object],陰影が経年変化の前後で変化しないと仮定している,[object Object],分離,[object Object],陰影マップ,[object Object],合成,[object Object],時間変化,[object Object],分布マップから,[object Object],計算した表面色,[object Object],入力画像,[object Object],出力画像,[object Object]

経年変化による物体表面の凹凸の再現(1/5),[object Object],既存手法との比較,[object Object],提案システム,[object Object],既存手法[Banderia09],[object Object]

経年変化による物体表面の凹凸の再現(2/5),[object Object],経年変化による物体表面の凹凸は高周波成分が多い,[object Object],入力画像,[object Object]

経年変化による物体表面の凹凸の再現(2/5),[object Object],経年変化による物体表面の凹凸は高周波成分が多い,[object Object],高周波成分を抽出するためにバイラテラルフィルタを使用する,[object Object],エッジを保存する平滑化フィルタ,[object Object],高周波成分,[object Object],陰影マップ,[object Object]

経年変化による物体表面の凹凸の再現(3/5),[object Object],陰影マップにおいて経年変化のある領域(右下図赤領域)をユーザが指定,[object Object],バイラテラルフィルタによって陰影マップの高周波成分を抽出,[object Object],経年変化の分布マップが閾値以上になったら赤領域内で経年変化のある領域の高周波成分を元の陰影マップに合成, 加算,[object Object],入力画像,[object Object],陰影マップ,[object Object]

経年変化による物体表面の凹凸の再現(4/5),[object Object],バイラテラルフィルタ,[object Object],輝度,[object Object],陰影マップ,[object Object],ピクセル,[object Object],低周波成分,[object Object],+,[object Object],高周波成分,[object Object]

経年変化による物体表面の凹凸の再現(5/5),[object Object],陰影マップの輝度変化,[object Object],+,[object Object],陰影マップ,[object Object],高周波成分,[object Object],経年変化度合d > 0.5 の区間に合成・加算,[object Object],経年変化による高周波成分,[object Object],結果画像,[object Object]

経年変化による物体表面の凹凸の再現(5/5),[object Object],高周波成分の合成に使用する手法,[object Object],Painting with texture[Ritter06],[object Object],テクスチャの輪郭を保持したまま合成できる,[object Object],入力画像,[object Object],合成結果,[object Object],入力マスク画像,[object Object]

ブラシ型インタフェース (1/2),[object Object],伝播マップをブラシ領域内で生成,[object Object],ブラシ,[object Object],分布マップ,[object Object],ブラシ内で平滑化,[object Object],×速度 v (調節可),[object Object],伝播マップ,[object Object],分布マップ,[object Object]

ブラシ型インタフェース (2/2),[object Object],デモ,[object Object]

経年変化の素材テンプレート(1/2),[object Object],アピアランスマップは別の画像のものを適用できる,[object Object],いくつかの素材をテンプレートとしてインタフェース上に用意,[object Object],素材テンプレート,[object Object],Before,[object Object],After,[object Object]

経年変化の素材テンプレート(2/2),[object Object],デモ,[object Object]

適用例 (1/2),[object Object],ブラシで表面色を編集した後に凹凸を合成,[object Object],作業時間: 1 分程度,[object Object],既存手法[Banderia09],[object Object],入力画像,[object Object],提案手法,[object Object]

適用例 (2/2),[object Object],ブラシで表面色を編集した後に凹凸を合成,[object Object],作業時間: 1 分程度,[object Object],既存手法[Banderia09],[object Object],提案手法,[object Object],入力画像,[object Object]

まとめ,[object Object],景観画像における物体の経年変化を対話的に編集するシステム,[object Object],経年変化による物体表面の凹凸の再現,[object Object],ブラシ型インタフェース,[object Object],経年変化素材のテンプレート化,[object Object],今後の予定,[object Object],テクスチャ合成の高速化,[object Object],凹凸を無くす(新しくする)手法の考案,[object Object]

ご清聴ありがとうございました,[object Object]

研究紹介,[object Object],ポップアップカードのデザインシステム,[object Object],Computer Graphics International 2011 で発表,[object Object]

研究紹介,[object Object],画像ベースの髪型デザインシステム,[object Object],Pacific Graphics 2011 で発表予定,[object Object]

研究紹介,[object Object],1枚の画像からの3Dシーン生成システム,[object Object],IEEE Computer Graphics & Applications に採録予定,[object Object]

質問＆感想＆アドバイスなどありましたらお願いします,[object Object],Email: kanamori@cs.tsukuba.ac.jp,[object Object],Web: http://kanamori.cs.tsukuba.ac.jp,[object Object],「筑波大　金森」でググれば出てきます,[object Object],今日のこの資料は Web で公開予定です,[object Object]

Kanamori cedec2011

Kanamori cedec2011

Recommended

More Related Content

Viewers also liked

Viewers also liked(15)

Similar to Kanamori cedec2011

Similar to Kanamori cedec2011(20)

Recently uploaded

Recently uploaded(11)

Kanamori cedec2011