Graphics2RAW: Mapping Computer Graphics Images to Sensor RAW Images

논문링크한줄요약그래픽 sRGB 이미지를 Device-dependent Sensor RAW RGB로 되돌리는 방법을 제안해보자!세줄요약그래픽 이미지는 노이즈가 없으므로 일반적인 reverse ISP 모델링보다 간단함. 몇개의 inverse Matrix만 곱해주면됨타겟 디바이스의 illumination 분포를 2D multivariate gaussian으로 모델링하고 샘플링해서 inverse WB 할때와 CST matrix 구할때 사용함이렇게 만들어진 RAW 이미지는 Photography의 난관인 데이터 샘플 취득의 어려움을 해결할 수 있으며, 다른 RAW 생성 방법 대비 제안 방법론으로 만들어진 synthetic RAW를 사용하면 Denoising/Illumination estimation/Neural I..

→2024.05.21

Deep Learning/Paper Summary

CvT: Introducing Convolutions to Vision Transformers

논문링크한줄요약- ViT의 linear projection에 컨볼루션 한숟갈, transformer block에 (depthwise) convolution 한숟갈 Convolutional Token Embedding 방법 - 출처 Conv Transformer Block 안에 들어가는 Conv projection 방법(위 그림의 초록색 Conv token embedding과 구분해야함. Token embedding되어있는 상태에서 Conv projection 하는것임)Convolutional projection에 사용되는 컨볼루션은 일반 컨볼루션 말고 depth-wise seperable conv사용해서 연산량 줄였다고 함

→2024.05.18

Deep Learning/Paper Summary

Uformer: A General U-Shaped Transformer for Image Restoration

논문링크한줄요약UNet 사이사이에 Attention module 넣어서 성능 올리고 계산량 줄인 아키텍쳐 논문3줄요약Non-overlapping window based attention module 도입하고attention block 마지막에서 feed-forward layer를 image restoration task의 특성을 고려해 2D reshape-conv-flatten 연산을 추가함learnable multi-scale restoration modulator 라는걸 추가했는데 단순히 각 레이어에 adding 되는 텐서임 근데 성능향상이 있다고 함

→2024.05.17

Deep Learning/Paper Summary

Variational AutoEncoder (VAE)

https://youtu.be/rNh2CrTFpm4 한 5번정도 본 유튜브 영상... 정리가 매우 잘되어있음 간단 요약정리 AE는 이미지 압축을 위해 입력과 출력이 같도록 훈련된 모델, 훈련 이후 인코더 부분을 사용하기 위해 설계됨 (데이터 압축) VAE는 이미지 생성에 있어서 latent vector z가 제한된 매니폴드(prior distribution) 상에 존재하도록 제한하기 위해 제안됨 VAE 학습에서 latent vector z의 이상적인 true posterior distribution이 존재하고, 그 distribution을 근사할 수 있도록 Approximation class가 존재하게 되며 q(z|x), 그렇게 샘플링된 z를 사용하여 디코더를 태웠을 때 x가 나올 확률 p(x|z), 그..

→2022.11.22

Math for Deep Learning/Probability & Statistics

Markov Chain

https://www.youtube.com/watch?v=qvSjIoMWBLY&ab_channel=iAIPOSTECH

→2022.11.21

Deep Learning/Paper Summary

Convolutional Color Constancy

[PDF] TL;DR; pixel = reflectance * illumination 을 따르는 이미지 모델 하에서, RGB space 의 WB operation은 log chromaticity space에서 히스토그램의 평행이동과 동일하다 이미지로부터 log chromaticity histogram을 생성한 뒤, Filter Convolution을 통해 조명값을 추정한다 Filter Convolution 결과는 이미지와 동일한 해상도를 가지며, 각 위치의 log chrominance가 GT 조명벡터일 Score를 의미한다 Filter는 트레이닝 데이터로부터 학습되며, 이러한 방법론은 Discriminative 방법론이다 필터를 학습할 때 사용되는 loss function은 컨볼루션 결과에 Softmax..

→2022.01.05

Deep Learning/Learning technique

Discriminative vs. Generative Model

참고자료 https://sens.tistory.com/408 https://www.youtube.com/watch?v=6F4zxCN0Wtc https://perpetual.tistory.com/61 Jonathan T. Barron의 Convolutional Color Constancy 논문에서 Discriminative와 Generative방법론을 비교하면서 계속 언급하길래 확실하게 정리를 한번 하고 넘어가고 싶어서 남겨둔다. 공부하다 보니 둘 사이에 꽤 큰 차이가 존재하고, 어떤 모델을 설계할 때 Generative / Discriminative 중에 무엇을 사용할지 결정하는 부분도 꽤 중요한 것 같다. Discriminative model 데이터가 주어지면 어떤 class인지 바로 구해줌 class..

→2022.01.04