『ラブライブ!スクールアイドルフェスティバル ALL STARS』を支えるビルドパイプライン 〜より安定したサービス提供を目指して〜KLab Inc. / Tech
CEDEC2020にて、『ラブライブ!スクールアイドルフェスティバル ALL STARS』の開発におけるアセットやソースコードの納品からアセットビルド、バイナリビルド、サーバー展開までの流れを支えるチーム、ワークフロー、アーキテクチャを紹介したセッションの資料です。
※2022/04/27 スライドの一部差し替えのため再アップロード
『ラブライブ!スクールアイドルフェスティバル ALL STARS』を支えるビルドパイプライン 〜より安定したサービス提供を目指して〜KLab Inc. / Tech
CEDEC2020にて、『ラブライブ!スクールアイドルフェスティバル ALL STARS』の開発におけるアセットやソースコードの納品からアセットビルド、バイナリビルド、サーバー展開までの流れを支えるチーム、ワークフロー、アーキテクチャを紹介したセッションの資料です。
※2022/04/27 スライドの一部差し替えのため再アップロード
The document discusses the benefits of exercise for mental health. Regular physical activity can help reduce anxiety and depression and improve mood and cognitive function. Exercise causes chemical changes in the brain that may help protect against mental illness and improve symptoms.
最適レベル補正と幾何学的モデル選択による高精度色補正 :
画像処理パイプラインの構築を目指して スライド
High Accuracy Color Correction by Optimal Level Correction
and Geometric Model Selection: Toward Construction of Image Processing Pipeline
最適レベル補正と幾何学的モデル選択による高精度色補正 :
画像処理パイプラインの構築を目指して
High Accuracy Color Correction by Optimal Level Correction
and Geometric Model Selection: Toward Construction of Image Processing Pipeline
6. 図5 補正処理結果(3).上から順に観測画像, 図6 従来の方法による補正処理結果.上から順
補正画像,擬似奥行き距離画像. にリニア変換,ガンマ補正,ヒストグラム等化.
「理想的な画像の分布とは何か?」と言うことになるが, and Pattern Recognition (CVPR), Washington, DC,
それを明確に定義することは難しい問題である10 . 2004.
この問題は, 理想的な画像の分布 ≈ 画質 ”
“ と見なす [3] D. Barash and D. Comaniciu, A common framework
こともできて,本研究のような 画質改善処理 ”
“ におけ for nonlinear diffusion, adaptive smoothing, bilateral
る評価の方法,特に定量的な評価にも関係する.本研 filtering and mean shift, Image and Video Computing,
究の手法の評価方法としては,従来の方法との主観的
22-1, (2004), 73–81.
[4] M. Black and A. Rangarajan, On the unification of
な評価に留まっている.したがって,定量的な評価の
line processes, outlier rejection, and robust statistics
方法についても今後の研究課題としたい.
with applications in early vision, International Jour-
参考文献
nal of Computer Vision, 19-1, (1996), 57–92.
[5] P. Burt and E. H. Adelson, The Laplacian pyramid as
a compact image code, IEEE Transactions on Com-
[1] ANSI/SMPTE, Component Video Signal 4:2:2 – Bit-
munication, 31 (1983), 532–540.
Parallel Digital Interface, ANSI/SMPTE 125M-1995.
[6] D. Comaniciu, V. Ramesh and P. Meer, Kernel-based
[2] V. Brajovic, Brightness perception, dynamic range
object tracking, IEEE Transactions on Pattern Anal-
and noise: A unifying model for adaptive image sen-
ysis Machine Intelligence, 25-5, (2003), 564–575.
sors, IEEE Comp. Soc. Conf. on Computer Vision
[7] R. O. Duda, P. E. Hart and D. G. Stork, Pattern
10 定義できない以上,コスト関数を最適化しても意味がないかも
しれない. Classification, John-Wiley & Sons. (2001).
7. [8] F. Durand and J. Dorsey, Fast bilateral filtering
for the display of high-dynamic-range images, SIG-
GRAPH, 2002.
[9] K. Fukunaga, Introduction to Statistical Pattern
Recognition, Academic Press, (1990).
[10] B. K. P. Horn and B. G. Schunck, Determining optical
flow, Artificial Intelligence, 17 (1981), 185–203.
[11] P. J. Huber, Robust Statistics, Wiley, 1981, 2004.
[12] D. J. Jobson, Z. Rahman and G. A. Woodell, A mul-
tiscale Retinex for bridging the gap between color
images and the human observation of scenes, IEEE
Transactions on Image Processing, 6-7 (1997), 965– 図7 ベータ分布の例.
977.
[13] 金谷健一, 「これなら分かる最適化数学 – 基礎原理から
計算手法まで –」,共立出版,2005 年 9 月. [27] 高木幹雄,下田陽久, 画像解析ハンドブック」
「 ,東京大
[14] D. J. MacKay, Bayesian interpolation, Neural Com- 学出版会,1991.
putation, 4-2, (1992), 415–447. [28] 竹内啓,
「数理統計学 – データ解析の方法」,東洋経済,
[15] J. Kopf, B. Neubert, B. Chen, M. Cohen, D. Cohen- 1963 年.
Or, O. Deussen, M. Uyttendaele and D. Lischinski, [29] C. Tomasi and R. Manduchi, Bilateral filtering for
Deep photo: model-based photograph enhancement gray and color images, Proceedings of the IEEE In-
and viewing, ACM Transactions on Graphics (Pro- ternational Conference on Computer Vision (ICCV),
ceedings of SIGGRAPH Asia 2008), 2008. Jan, 1998.
[16] S. G. Narasimhan and S. K. Nayar, Contrast restora-
tion of weather degraded images, IEEE Transactions
on Pattern Analysis and Machine Intelligence, 25-6, 付録 A ベータ分布
(2003), 713–724.
[17] S. G. Narasimhan and S. K. Nayar, Interactive 図 7 にベータ分布の例を示す.式(10)で α = β と
(de)weathering of an image using physical models, すると対称な分布が得られ,α = β = 1 のときに一様分
ICCV Workshop on Color and Photometric Methods 布となり,α = β として,α, β を大きくしていくと正
in Computer Vision (CPMCV), Oct, 2003. 規分布に漸近する.その平均は 1/2,分散は 1/(8α + 4)
[18] A. V. Oppenheim, R. W. Schafer, T. G. Schafer になる.α = β = 1, 2, 3, 4, 6, 8 の場合のベータ分布と
and T. G. Stockham, Jr, Nonlinear filtering of multi- α = β = 8 の場合に漸近する平均 1/2,分散 1/68 の正
plied and convolved signals, Proceedings of the IEEE, 規分布を示す.
(1968), 1264–1291.
[19] A. V. Oppenheim and R. W. Schafer, Digital Signal
付録 B RGB 輝度色差変換
Processing, Prentice-Hall, 1975.
[20] W. K. Pratt, Digital Image Processing, Wiely, 1978. ANSI/SMPTE125M 規格 [1] によると,RGB 信号か
ら輝度色差信号 Y CB CR への変換は次のようになる.
[21] W. H. Press, S. A. Teukolsky, W. T. Vetterling and
B. P. Flannery, Numerical Recipes 3rd Edition: The
Art of Scientific Computing, Cambridge University Y = 0.299 R + 0.587 G + 0.114 B (B.1)
Press, 2007.
CR = 0.713 (R − Y )
[22] L. I. Rudin, S. J. Osher and E. Fatemi, Nonlinear to-
tal variation based noise removal algorithms, Physica = 0.500 R − 0.419 G − 0.081 B (B.2)
D, 60, (1992), 259–268. CB = 0.564 (B − Y )
[23] P. J. Rousseeuw, A. M. Leroy, Robust Regression and
= 0.500 B − 0.169 R − 0.331 G (B.3)
Outlier Detection, J. Wiley & Sons, NY, 1987.
[24] 坂本慶行, 石黒真木夫, 北川源四郎, 「情報量統計学」,
付録 C カルバック-ライブラー情報量
共立出版, 1993.
[25] Y. Y. Schechner, S. G. Narasimhan and S. K. Na- によるコスト関数の勾配とヘシアン
yar, Polarization-based vision through haze, Applied
Optics, 42-3, (2003), 511–525. カルバック-ライブラー情報量による CKL の減衰率
[26] B. W. Silverman, Density Estimation, London, Chap- d に関する勾配 ∂CKL /∂d は,微分の連鎖則により次の
man and Hall, 1986.
8. ようになる. ここで,厳密には解析的にクリップ関数 Clipb ( · ) の上
a
N ˆ ˆ 限下限値で微分はできないが,クリップ関数の微分を
∂CKL p(Ii ) ∂p(Ii )
ˆ
= log
q(Ii )
+1
∂d
(C.1) 次のように定義する.
∂p(Ii ) i=1
ˆ N ˆ ˆ 1, a ≤ t ≤ b
∂p(Ii ) 1 1 ∂W ˆ Ii − Ij Clipb (t) = (C.9)
0, その他
= − h(Ij )K a
∂d n W 2 ∂d j=1
W
1
N ˆ ˆ
Ii − Ij さらに,CKL の減衰率 d に関するヘシアン(2 次微
+ ˆ
h(Ij )K
W W 分)は次のようになる.
j=1
ˆ ˆ ˆ
−(∂ Ij /∂d)W − (Ii − Ij )(∂W/∂d) ∂ 2 CKL
N ˆ
p(Ii ) ˆ
∂ 2 p(Ii )
× (C.2) = log +1
W2 ˆ
∂p(Ii )2 ˆ
q(Ii ) ∂d 2
i=1
1/5 Nˆ 2
∂W 4 1 1 ˆ ∂ Ij h(Ij )
ˆ 1 ˆ
∂p(Ii )
= Ij +
∂d 3n σ n j=1 ∂d ˆ
p(Ii ) ∂d
N N ˆ N 2
1 ˆ ˆ ∂ Ij ˆ ˆ
∂ 2 p(Ii ) 1 ˆ
∂p(Ii )
− Ij h(Ij ) h(Ij ) (C.3) ≈ + (C.10)
n2 j=1 j=1
∂d ∂d 2 ˆ
p(Ii ) ∂d
i=1
ここで,n はブロック領域中の画素数,N はヒストグ ここで,最後の近似は p(I) ≈ q(I) であることによる
ˆ ˆ
ラムの階級数,σ はブロック領域中の画素値による標本 (ガウス・ニュートン近似 [13]) .
標準偏差であり,離散的なヒストグラム h から次のよ W を定数として,∂p(I
ˆi )/∂d を式(C.7)とすると,
うに計算される.
N 2
ˆ
∂ 2 p(Ii ) 1 ˆ ˆ
Ii − Ij ˆ
∂ Ij
N = ˆ
h(Ij )K
1 ˆ2 ˆ ¯
ˆ ∂d 2 nW 3 W ∂d
σ= Ij h(Ij ) − I 2 , (C.4) j=1
n j=1
1
N ˆ ˆ
Ii − Ij ˆ2
∂ Ij
N − ˆ
h(Ij )K
¯
ˆ 1 ˆ ˆ nW 2 W ∂d2
I = Ij h(Ij ) (C.5) j=1
n j=1 (C.11)
K ( · ) は核関数 K( · ) の微分であり,次のように計算さ
ここで,
れる.
1 t2 t2 t2
t t2 K (t) = − √ exp − + √ exp −
K (t) = − √ exp − (C.6) 2π 2 2π 2
2π 2
(C.12)
ブロック領域中のすべての画素値が同一値に近づく
と,σ → 0 となり,W → 0 になるため,ヒストグラ ˆ2 2
∂ Ij Ij − A(1 − d) Ij − A
ムから核関数を用いて確率密度関数を計算することが = 2
ClipImax
0 −
∂d2 d d2
できない(退化状態) 実際には,厳密に同一値にな
.
Ij − A(1 − d) 2(Ij − A)
らなくとも,数値計算的に不安定になる.そこで,核 + ClipImax
0
d d3
関数におけるバンド幅 W を適当な定数とする11 .する ˆ
d ∂ Ij
と,式(C.3)の ∂W/∂d = 0 であり,したがって,式 Clipb ( · ) = 0
2
=− a (C.13)
2 ∂d
(C.2)は
したがって,式(C.11)は,
ˆ N ˆ ˆ ˆ
∂p(Ii ) 1 ˆ Ii − Ij ∂ Ij N 2
=− h(Ij )K (C.7) ˆ
∂ 2 p(Ii ) 1 ˆ ˆ
Ii − Ij ˆ
∂ Ij
∂d nW 2 j=1
W ∂d = ˆ
h(Ij )K
∂d2 nW 3 j=1
W ∂d
となる.数値計算の安定化を図るためにも,勾配計算 N
1 ˆ ˆ
Ii − Ij ˆ
d ∂ Ij
の簡略化のためにも W を適当な値に固定するのは現実 − ˆ
h(Ij )K −
nW 2 W 2 ∂d
的と思われる. j=1
∂ Ij /∂d は式(3)から次のようになる. N 2
ˆ 1 ˆ ˆ
Ii − Ij ˆ
∂ Ij
= ˆ
h(Ij )K
ˆ nW 3 j=1
W ∂d
∂ Ij Ij − A(1 − d) Ij − A
= ClipImax
0 − (C.8) ˆ
∂d d d2 d ∂p(Ij )
11 式(8)によって標準偏差を推定したとしても退化状態は避けら
− (C.14)
2 ∂d
れない.