This document summarizes a 2016 SIGGRAPH paper that presents a method for automatically colorizing grayscale images using an end-to-end neural network with two branches: one for local features and one for global features. The network is trained jointly on colorization and classification tasks using a fusion layer to combine the local and global features. It achieves state-of-the-art results for colorization and allows for style transfer between images by adapting one image's colorization to the global features of another image.
Mining Activity and Investment Opportunity in Myanmar.pptx
Let there be color! 논문 설명 입니다.
1. Let there be Color!: Joint End-to-end Learning of
Global and Local Image Priors for Automatic Image
Colorization with Simultaneous Classification
Joowon Moon
22th
May, 2020
2. Today
• SIGGRAPH 2016 Paper
• Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic
Image Colorization with Simultaneous Classification
• Satoshi lizuka, Edgar Simo-Serra, Hiroshi Ishikawa
• 2016: https://dl.acm.org/doi/pdf/10.1145/2897824.2925974
3. Colorization of Black-and-white Pictures
• Automatically colorize grayscale
• End-to end network that jointly learns global and local features for automatic image colorization
• Use fusion layer that merges the global and local features
• Exploit classification labels for learning
4. Model Architecture
• Two branches: Local features and global features
• Composed of four networks
5. Model Architecture
• Two branches: Local features and global features
• Composed of four networks
6. Model Architecture
• Two branches: Local features and global features
• Low-Level Features Network
• Extract low-level features such as edges and corners
10. Model Architecture
• Two branches: Local features and global features
• Global features
• Provide information at an image level
• Such as whether or not the image was taken indoors or outdoors etc..
11. Model Architecture
• Two branches: Local features and global features
• Local features
• Extract mid-level features such as texture
12. Model Architecture
• Fusion layer
• Combine the global features with the mid-level features
• Can be thought of as concatenating the global features with the local features at each spatial location
13. Model Architecture
• Two branches: Local features and global features
• Colorization network
• Compute chrominance from the fused features
• The chrominance is combined with the input intensity image to produce the resulting color image
14. Training of colors
• Mean Squared Error(MSE) as loss function
Model
Input image Output image Ground truth
MSE
Foward
Backward
15. Joint Training of colors
• Training for classification jointly with the colorization
• Classification network connected to the global features
16. Joint Training of colors
• Train network using the cross-entrophy loss, jointly with the MSE loss for the colorization network
𝐿 = 𝑀𝑆𝐸 − 𝛼(𝑐𝑜𝑟𝑠𝑠 𝑒𝑛𝑡𝑟𝑜𝑝ℎ𝑦 𝑙𝑜𝑠𝑠)
17. Dataset
• MIT Places Scene Dataset
• 2.3million training images with 205 scene labels
• 256 x 256 pixels
안녕하세요. 오늘 발표를 맡게 된 문주원 입니다. 이 논문은 제가 트랜스퍼 러닝이라는 주제로 개별연구를 진행하면서 트랜스퍼 러닝을 어떤 응용분야에서 사용할 수 있을까에 대해 고민하고 알아보면서 찾아봤던 논문 중 하나입니다.
이 논문은 2016년에 SIGGRAPH라는 곳에서 발표된 논문입니다. 제 기억이 맞다면 이 논문이 각종 커뮤니티에서 그 당시 많은 이슈가 됐던걸로 기억합니다.
논문의 제목은 ‘그곳에 색이 있으라’ 라는 의미의 ‘let there be color’ 라는 멋진 제목을 가지고 있습니다.
논문은 다음의 주소에서 확인하실 수 있습니다.
논문에서는 2016년 이전의 많은 이미지 colorization 방법과는 다르게 fully automatic으로 이미지의 색을 자동으로 칠해준다는 점이 의미 있는 결과라고 했습니다. 또한 아래의 이미지를 보시면 알겠지만 색을 아주 현실적으로 칠해준다는 점이 주목 할만한 점이라고 합니다.
이 논문에서는 두 가지의 네트워크를 사용했습니다. Global image의 사전정보를 학습하는 네트워크와 local image의 작은 patch들을 학습하는 네트워크 입니다. 최종적으로 이 두가지 네트워크를 서로 조합하여 이미지의 colorize를 자동으로 실행하게 만들어줍니다. 논문에서는 두 네트워크를 조합하는 방법을 fusion layer라고 했습니다. 그리고 global 사전정보를 학습하는 네트워크는 단순하게 우리가 잘 알고있는 classification network입니다.
모델의 구조는 다음과 같습니다.
이 모델은 Low-level feature network, mid-level feature network, global feature network 그리고 colorization network와 같은 4개의 network로 구성되어져 있습니다.
이 중 low-level feature network는 mid-level과 global feature network에서 공유되어 사용되는 네트워크 입니다. 이 low-level feature network에서는 우리가 잘 알고있듯이 이지미의 엣지나 코너같은 lower features을 학습하게 됩니다.
모델은 먼저 크게 두 개의 브랜치로 나누어집니다. 위의 브랜치의 네트워크가 local feature를 위한 네트워크이고
아래의 네트워크가 global feature를 위한 네트워크 입니다.
가운데 보시면 fusion layer라는 것이 있는데, 이것을 통하여 두 개의 네트워크를 조합하고 이미지의 colorize를 automatic하게 할 수 있습니다.
여기서 global feature network가 학습하는 것은 전체 학습데이터에 있는 이미지 레벨에서의 정보를 학습한다고 합니다. 예를들면 이미지가 외부에서 촬영된 이미지인지 내부에서 촬영된 이미지인지 또는 낮인지 밤인지 등의 정보를 학습한다고 합니다.
그리고 local feature network는 입력 이미지를 통해 주어진 위치에서의 local texture 또는 local object를 표현하게 된다고 합니다.
이렇게 학습된 두 네트워크를 fusion layer를 통해 서로 합치게 됩니다. 이 때 global feature network에서의 결과인 1차원 vector를 mid-level features network의 각 location마다 뎁스 방향으로 concatenate합니다.
사실 지금 여기서 gobal feature network의 결과로 256vector가 나오고 mid-level feature network의 결과로 256뎁스가 나오는데, 이 둘을 뎁스 방향으로 concat하면 fusion layer는 512사이즈의 뎁스를 가지게 됨을 알 수 있습니다.
마지막으로 fused features를 입력으로 사용하여 colorization network를 통해 색차 feature를 출력하게 되고 이 결과를 input 이미지와 합쳐서 최종 결과물인 흑백 이미지를 색이 있는 이미지로 만들게 됩니다.
이렇게 모델이 구성되면 MSE loss를 통해 학습이 진행됩니다.
Input으로 흑백의 이미지가 입력되고, output으로 색채화된 이미지가 출력됩니다. 이렇게 출력된 output은 ground truth와 MSE loss계산하고 backpropagate 되면서 학습이 진행됩니다.
하지만 MSE loss만 사용하는 것은 아닙니다. 왜냐하면 앞에서도 말했듯이 global feature는 classification을 통해 학습되기 때문입니다.
이렇게 global features network에 2개의 fully-connected layer로 구성된 classification network를 붙여주면 최종적으로 모델의 구조가 완성됩니다. 이렇게 되면 image의 global context를 학습할 수 있으므로 이미지의 semantic정보를 학습할 수 있습니다. 예를 들어서 맑은 하늘, 사람의 피부 와 같은 semantic 정보를 학습할 수 있게 됩니다.
참고로 여기서 classification network는 205개의 분류를 진행하게 됩니다.
그래서 결국 colorization network의 loss인 MSE에서 classification network의 loss인 cross entrophy loss를 뺀 값이 이 모델의 최종 loss식이 됩니다.
여기서 알파 값은 classification network에 얼마만큼의 중요도를 줄지를 정하는 값입니다. 당연하게도 알파 값에 0을 대입하면 classification network의 결과를 사용하지 않고 오로지 colorization loss만 사용한다는 의미가 됩니다.
이 논문에서는 알파 값을 1/300로 설정하고 학습했다고 합니다.
이 논문에서 데이터셋으로 places scene dataset을 사용했고 이 데이터셋은 대략 230만개의 이미지 데이터셋 입니다. 그리고 205개의 class들이 존재합니다.
다음으로 global feature network에 대한 유용함을 증명하기 위해 global feature를 뺀 결과와 포함한 이미지 결과를 비교해 보도록 하겠습니다.
이 그림을 보면 가운데 baseline이라고 쓰여 있는 결과 값이 global feature network를 학습하지 않는 모델에서의 결과 이미지이고, 제일 오른쪽 결과 값이 모든 네트워크 구조를 사용한 결과 이미지 입니다.
Baseline이미지를 보면 몇가지 어울리지 않는 부분이 있다는 것을 알 수 있습니다. 가령 호수의 물이 갈색으로 땅과 같이 갈색으로 칠해진 것을 볼 수 있거나 indoor이미지인데 반해 천장의 색이 하늘색과 같이 표현된 것을 볼 수 있습니다.
대신 제일 오른쪽 결과 이미지를 보면 global feature를 포함한 모든 구조로 학습한 모델은 baseline과 같은 오류를 범하지 않은 것을 확인할 수 있습니다.
그러므로 이 모델에서 global feature는 image의 context, 즉 맥락을 이해한다고 할 수 있습니다.
이렇게 진짜같은 이미지라는 것을 테스트할 수 있는 방법이 있어야 하는데
이 논문의 모델은 진짜같이 색칠 된 이미지를 output으로 나타내어주는 것이기 때문에 사람들에게 질문을 통해 이 모델의 결과가 좋다는 것을 입증했다고 합니다.
Ground truth이미지와 baseline 그리고 전체 모델을 통과한 이미지를 각각 500개씩 총 1500개를 랜덤하게 10명의 테스트 하는 사람들에게 보여주고 이미지가 자연스러운지 아닌지를 테스트했습니다.
이 때 ground truth이미지가 97.7%의 자연스러움을 보였고 또한 이 모델의 결과 이미지가 92.6%의 자연스러움을 보였으므로 이 논문의 방법이 일반적이고 사실적인 채색화를 했다고 생각해도 된다고 합니다.
이 논문에서 제가 제일 신기했던 부분이 드디어 나왔습니다. Global feature를 학습하는 네트워크의 입력으로 local network와 다른 이미지를 입력으로 넣으면 네트워크의 출력 결과가
Global feature의 이미지에 대한 스타일로 채색될 수 있다고 합니다.
예를들어 입력으로 봄에 대한 이미지를 흑백 이미지로 변환하여 모델에 입력했을 시 그림과 같이 출력으로 나온 결과가 봄이라고 하고
입력으로 가을에 대한 이미지를 흑백 이미지로 변환하여 모델에 입력했을 시 그림과 같이 출력으로 나온 결과가 가을이라고 해봅시다.
이 때 local network와 global network에 서로 다른 입력을 넣는다면, 즉 local network에 첫 번째에서 학습했던 봄에 해당하는 이미지를 입력으로 넣고 global network에 가을에 해당하는 이미지를 입력으로 넣고 결과를 출력하면
놀랍게도 봄에 해당하는 이미지가 가을의 모습으로 변경되는 것을 확인할 수 있습니다. 즉 style transfer가 되는 것이라 생각할 수 있습니다.
여기서 주목할 점은 local과 global network의 입력 모두 흑백 이미지가 입력으로 들어갔다는 점입니다.
물론 정확한 이 모델에서 style transfer를 위해서는 이미지의 클래스가 같거나 유사한 이미지에 대해서 입력해야 합니다. 예를들어 정원 클래스와 골프 코스 클래스와 같은 서로 유사하거나 같은 클래스의 이미지를 필요로 합니다.
하지만 이 모델에서 모든 입력이 흑백인 것을 감안하면 global feature에서 학습되는 것이 정말 이미지 전체의 context라는 것을 알 수 있게 해줍니다.
하지만 이 모델에도 한계가 있습니다. Colorization은 본질적으로 모호한 문제인데, 예를 들어 위와 같은 사진에서 텐트의 색이 무슨 색입니까? 를 예측했을 때 무한한 답이 나올 수 있는 것과 같은 것을 말합니다. 그러므로 이러한 문제에 대한 값으로는 정확한 답을 맞출 수 없는 문제가 있습니다.
이 모델은 global network와 local network를 학습해서 이미지의 colorization을 더욱 진짜같이 할 수 있습니다.
또한 이 두개의 networ를 이어주는데 fusion layer를 사용했고 학습된 논문의 네트워크 하나를 통해 style transfer까지 가능합니다.
즉 이 모델은 global network를 통하여 전체 이미지의 semantic정보를 학습하고 local network를 사용하여 global network로부터의 semantic정보를 활용해 흑백 이미지에 대한 colorization을 더욱 진짜 이미지와 같이 할 수 있습니다.
