Lecture 3: Loss Function and Optimization

1. Loss Function 손실함수

http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/

• SVM loss(=Hinge loss)
  - 여기서 1은 margin -> margin 조절 가능함.
  - 단지 정답 클래스가 정답이 아닌 클래스보다 margin이상으로 높은지가 중요함!
  
  

• Softmax
  - 마이너스 로그 확률분포 : 확률이 커야햐므로 -> (마이너스 로그) loss는 작은 것
  - 전체 합은 1이됨
  
  

2. Optimization

• Gradient Descent
  loss를 최소화 시키는 w를 찾아야 하는데,
  전체 training set의 loss 평균을 구하고,
  gradient를 구해 stepsize(learning rate)를 곱해줘서 descent 방향으로!
  
  
• Stochastic Gradient Descent (SGD)
  N이 클 때, training set의 일부인 minibatch에 대해서만 sum을 구함