Siamese Network 와 Contrastive Loss, Triplet Loss

- 출처 - https://towardsdatascience.com/a-friendly-introduction-to-siamese-networks-85ab17522942 A friendly Introduction to Siamese Networks You don’t always need a lot of data to train your model, learn how to create a model with a tiny number of images per class towardsdatascience.com https://tyami.github.io/deep%20learning/Siamese-neural-networks/ Siamese Neural Networks (샴 네트워크) 개념 이해하기 Siames..

→2021.11.02

Deep Learning/Coding

nn.ModuleList vs nn.Sequential

파이토치 코드를 보다보면 자주 등장하는 두 가지 클래스다. 비슷하게 쓰이는것 같으면서도 그 차이점을 구별해라 하면 말하기 어려운데, 구글링을 해 보니 친절한 답변이 있어서 가져왔다. (링크) 더보기 In nn.Sequential, the nn.Module's stored inside are connected in a cascaded way. For instance, in the example that I gave, I define a neural network that receives as input an image with 3 channels and outputs 10 neurons. That network is composed by the following blocks, in the following..

→2021.10.28

Math for Deep Learning/Etc.

Quadratic Spline Interpolation

잘 설명해주는 영상 part1 part2 영상에서 너무 잘 설명해줘서 간단하게만 요약해본다. Quadratic Spline Interpolation의 정의와 성질 여러 데이터 포인트들이 있을 때, 그들을 직선으로 연결하면(linear spline) 너무 단순한 interpolation 방법이 되어버리므로, 해당 점들을 부드럽게, 곡선으로 연결하자는 것이 포인트. 부드럽게 란, 하나의 점을 기준으로 양 옆의 spline의 기울기가 같아야 한다 (스무스하게 연결되면서 넘어감) 곡선으로 란, 두개의 점을 잇는 spline이 2차함수 꼴로 정의될 것. (그래서 quadratic spline라고 부름) 그렇다면 두 점을 잇는 곡선 함수의 꼴은 ax^2 + bx + c = y가 될텐데, 데이터포인트들이 N+1개 있..

→2021.10.11

Math for Deep Learning/Probability & Statistics

MLE와 MAP

딥러닝을 처음 배울 때에는 내가 지금 배우는 딥러닝과 선형대수/확률통계의 기본적 개념 사이의 연결성이 전혀 형성되지 않은 채로 배웠다. 그러다 점점 그 기저에 수학적인 바탕이 깔려 있다는 것을 알게 되고, MAP, MLE라는 단어도 자주 접하며 궁금증을 갖게 된다. MAP와 MLE에 대해 간단하게 정리해 본다. 1. 기본 용어 정리 x : 모델 (어떠한 사건이 발생할 수 있는 환경) z : 사건 (결정된 모델에서 발생하는 특정 이벤트) 예를 들어 특정한 길이의 머리카락을 발견했다고 하자. 그 머리카락은 남자 혹은 여자에게서 나왔을 것이다. 머리카락을 발견한 사건이 z이며, 남자 또는 여자가 모델 x이다. P(z|x) : 가능도, likelihood 모델 x가 결정되었을 때, 그 모델 x에서 사건 z가 발..

→2020.10.11

Deep Learning/Paper Summary

Temporal Segment Network (TSN)

간단요약 : 전체 비디오를 N등분, 그 N등분 내에서 랜덤한 스니펫(클립) 샘플링 -> 그 스니펫들을 Spatial&Temporal 네트워크 두개에 통과시킨 후 모든 스니펫 결과들을 합쳐서 결과를 내는 모델 1. Introduction 이 논문에서 제시하는 기존의 ConvNet이 즉시 비디오레벨의 action recognition에 적용될 수 없는 이유는 두가지이다. 액션 비디오에서는 long-range temporal structure이 중요하다. (동작 전체의 긴 맥락을 이해하려면 매우많은 프레임을 다 보고 이해해야 함) 하지만 기존의 컨볼루션 필터와 그를 활용한 네트워크들은appearances 와 short-term motions 에만 집중하기 때문에 이런 부분에서 기대에 미치지 못하는 성능을낼 수..

→2020.09.18

Deep Learning/Paper Summary

Generative Adversarial Nets (2)

Generative Adversarial Nets (2) paper download 이전 글 보러가기 - Generative Adversarial Nets (1) Generative Adversarial Nets (1) Generative Adversarial Nets (1) paper download 오늘은 2014년에 Ian Goodfellow가 발표한 논문인 Generative Adversarial Network(이하 GAN)에 대해서 리뷰해보려 합니다. 기존의 생성모델들에 비해 월등한 성.. dongsarchive.tistory.com

→2019.04.01

Deep Learning/Paper Summary

Generative Adversarial Nets (1)

Generative Adversarial Nets (1) paper download 오늘은 2014년에 Ian Goodfellow가 발표한 논문인 Generative Adversarial Network(이하 GAN)에 대해서 리뷰해보려 합니다. 기존의 생성모델들에 비해 월등한 성능을 보여주어 상당히 큰 화제가 되었고, 그 이후로도 여러가지 생성모델들이 GAN으로부터 파생되었으므로, 굉장히 기본적이면서도 중요한 모델이라 할 수 있습니다. 우선 복잡하게 생각하기 전에, 실제로 저자가 논문에서 든 예화를 보며 간단하게 GAN에 대해 이해해봅시다. "위조지폐범들은 가짜 지폐를 만들어내려 하고, 경찰들은 가짜 지폐를 진짜 지폐와 구분하기 위해 노력한다. 처음 만들어진 위조지폐는 상당히 허술하여 경찰들이 금방 구분..

→2019.03.16