MLP에서의 Forward pass, Layer shape 맞추기.

우선 Feed forward neural network의 forward layer 쌓기.

• shape 끼어 맞추기.
• i번째 Layer의 출력물 𝑎^[i] 는 다음 Layer i+1 번째 Layer의 Input으로 들어간다.
• W : Weight로 간선을 생각하면 된다. 크기는 (이전 Layer의 노드 수 x 다음 Layer의 노드 수)
• b : bias 편향 -> y = ax + b에서 b역할을 맡음. 크기 : (1 x 출력 Layer의 노드 수)
• Z : Layer 통과 후 Activation Fuction을 거치기 전 단계.
• Activation Fuction을 넣어주는 이유 : 비선형 함수를 넣지 않는 다면 XOR 문제를 해결할 수 없기 때문.

조건

• input feature map size = 400.
• output classes = 10
• number of hidden nodes = 50, 20, 30

Layer 1

• 
• 
• 
• 

output of Layer 1

Layer 2

• 
• 
• 
• 

output of Layer 2

Layer 3

• 
• 
• 
• 

output of Layer 3

Layer 4

• 
• 
• 
• 

Cross Entropy

• Cross Entropy는 분류모델 평가척도로 사용됩니다.
• Input data x^(i) 에 대한 정답 y의 확률 -> 분류 문제에서 정답은 1, 오답은 0
• Input data x^(i) 에 대해 Theta를 넣고 예측한 model의 예측값 y는 logit에 softmax를 취한 값.
• 훈련 데이터는 정답이 O, X로 갈리기 때문에 1 아니면 0 -> one-hot Encoding
• Logits 이란? 모델의 예측값이 softmax와 같은 Activation Function에 들어가기 전 값.
• 

 

• softmax
  • activation fuction 중 하나로 예측값을 확률 분포값으로 만들어줌. 합쳐서 1.
  • 해당 값의 exponential 값을 모든 출력값에 exponential 해주고 더 해 나눠줌.
• 
  
  
• Cross Entropy =
  
  
  
  
  
• 
  
  
• 

다음시간엔 지금 구한 Cross Entropy 식 부터 시작하여 꺼꾸로 올라가며 Backpropagation에 대해서 알아보자

 

다음과 같은 loss 계산식이 있다고 할 때.

위의 식을 밑에다 대입하면

o = one_hot(y) - log( softmax(Z))

e = j(theta)