Discriminative vs. Generative Model
Deep Learning/Learning technique

Discriminative vs. Generative Model

반응형

참고자료

 

 

Discriminative model과 Generative model의 차이

 

Jonathan T. Barron의 Convolutional Color Constancy 논문에서 Discriminative와 Generative방법론을 비교하면서 계속 언급하길래 확실하게 정리를 한번 하고 넘어가고 싶어서 남겨둔다.

공부하다 보니 둘 사이에 꽤 큰 차이가 존재하고, 어떤 모델을 설계할 때 Generative / Discriminative 중에 무엇을 사용할지 결정하는 부분도 꽤 중요한 것 같다.

Discriminative model

  • 데이터가 주어지면 어떤 class인지 바로 구해줌
  • class 결정을 위해 Decision boundary 를 구함
  • 클래스 각각의 데이터에 관심 없고 두개의 클래스를 잘 구별하는 방향으로 학습됨
  • Cost function을 Minimize하여 모델을 최적화함 (모델 자체가 Decision boundary가 됨)

Generative model

  • 라벨이 주어진 샘플 데이터들의 분포를 구하고, 데이터가 주어지면 어떤 분포에 들어갈 확률이 가장 높은지 로 판단함
  • 클래스 별 각각의 분포를 학습, 이후 데이터가 주어질 때 p(x,y=개) > p(x,y=돼지) 이면 개로 분류함
반응형