Uformer: A General U-Shaped Transformer for Image Restoration

2024. 5. 17. 21:27·Deep Learning/Paper Summary

논문링크

한줄요약

  • UNet 사이사이에 Attention module 넣어서 성능 올리고 계산량 줄인 아키텍쳐 논문

3줄요약

  • Non-overlapping window based attention module 도입하고
  • attention block 마지막에서 feed-forward layer를 image restoration task의 특성을 고려해 2D reshape-conv-flatten 연산을 추가함
  • learnable multi-scale restoration modulator 라는걸 추가했는데 단순히 각 레이어에 adding 되는 텐서임 근데 성능향상이 있다고 함

 

(a) 네트워크 구조 (b) 제안하는 어텐션 블록 (c) modulator의 도입과 더해지는 위치
기존 FF 레이어를 대체하는 LeFF 레이어

저작자표시 비영리 변경금지 (새창열림)
'Deep Learning/Paper Summary' 카테고리의 다른 글
  • Graphics2RAW: Mapping Computer Graphics Images to Sensor RAW Images
  • CvT: Introducing Convolutions to Vision Transformers
  • Variational AutoEncoder (VAE)
  • Convolutional Color Constancy
DongYoung
DongYoung
Dong's Archive
  • DongYoung
    Dong's Archive
    DongYoung
  • 전체
    오늘
    어제
    • View All (36)
      • Deep Learning (0)
        • Paper Summary (10)
        • Learning technique (4)
        • Architecture design (2)
        • Coding (1)
        • Etc. (2)
      • Computer Vision (1)
      • Math for Deep Learning (16)
        • Linear Algebra (10)
        • Probability & Statistics (4)
        • Etc. (2)
  • 블로그 메뉴

    • About🧐
    • Homepage🏠
    • Github🧑🏻‍💻
    • Instagram📷
  • 링크

    • 홈페이지
  • 공지사항

  • 인기 글

  • 태그

    빈펄랜드
    행렬
    파타야
    방콕
    빈펄 리조트
    확률통계
    선형독립
    빈펄
    쉐라톤 나트랑
    카오산 로드
    영공간
    열공간
    subspace
    독립사건
    Generative Adversarial Net
    빈펄리조트 나트랑
    나트랑
    선형대수
    왓 포
    태국
    벡터
    조식
    GAN
    Discriminator
    베트남
    잇 사이트 스토리
    생성모델
    deep learning
    룸서비스
    나트랑 쉐라톤
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.5
DongYoung
Uformer: A General U-Shaped Transformer for Image Restoration
상단으로

티스토리툴바