Graphics2RAW: Mapping Computer Graphics Images to Sensor RAW Images

논문링크

한줄요약

• 그래픽 sRGB 이미지를 Device-dependent Sensor RAW RGB로 되돌리는 방법을 제안해보자!

세줄요약

• 그래픽 이미지는 노이즈가 없으므로 일반적인 reverse ISP 모델링보다 간단함. 몇개의 inverse Matrix만 곱해주면됨
• 타겟 디바이스의 illumination 분포를 2D multivariate gaussian으로 모델링하고 샘플링해서 inverse WB 할때와 CST matrix 구할때 사용함
• 이렇게 만들어진 RAW 이미지는 Photography의 난관인 데이터 샘플 취득의 어려움을 해결할 수 있으며, 다른 RAW 생성 방법 대비 제안 방법론으로 만들어진 synthetic RAW를 사용하면 Denoising/Illumination estimation/Neural ISP task 에서 좋은 성능을 낼 수 있다고 함. (물론 real data로 학습한것보다는 성능이 떨어짐)

 

논문에서 제안하는 파이프라인. Corelated ColorTemp 구해서 CST 구하고, XYZ2sRGB 역행렬과 CST의 역행렬을 차례로 곱한다. 그러고난뒤 inverse WB 과정을 통해 씬에 illumination을 다시 입혀준다. 각 픽셀에서 RGB 중 두개의 픽셀을 제거해서 Mosaic (re-bayer) 시켜준다.

 

Previous work인 UPI와의 비교 피겨. Illumination sampling부터 차이가 심하다. Device의 분포를 고려하지 않는다. CST matrix 계산도 정석적이지 않다.