Backpropagation 에서 전치의 발생.

187cm 2022. 5. 2. 13:11

마크다운에서 수식 이미지 넣는 법

<img src="https://latex.codecogs.com/svg.latex?\Large&space;x=\frac{-b\pm\sqrt{b^2-4ac}}{2a}"/>

우선 이 수식은 왜 있는지 이해를 못했다.
- Loss값에 대해 X를 편미분 -> 근데 왜 하는거지..?

$\frac {\partial L}{\partial x} = \frac{\partial L}{\partial Y} \bullet W^T$

따라서 밑의 수식이 왜 나오게 되는지 Backpropagation에서 전치를 하는 이유를 알아보겠다.

$\frac {\partial L}{\partial W} = X^T \bullet \frac{\partial L}{\partial Y}$

우선 다음과 같은 Vector X,W,Y가 있다고 할 때.

$X = \begin{bmatrix} x_{1,1} & x_{1,2} \\ x_{2,1} & x_{2,2} \end{bmatrix}$ $X = \begin{bmatrix} W_{1,1} & W_{1,2} & W_{1,3} \\ W_{2,1} & W_{2,2} & W_{2,3} \end{bmatrix}$

$Y = X \times W = \begin{bmatrix} x_{1,1} w_{1,1} + x_{1,2} w_{2,1} & x_{1,1} w_{1,2} + x_{1,2} w_{2,2} & x_{1,1} w_{1,3} + x_{1,2} w_{2,3} \\ x_{2,1} w_{1,1} + x_{2,2} w_{2,1} & x_{2,1} w{1,2} + x_{2.2} w_{2,2} & x_{2,1} w_{2,2} + x_{2,1} w_{2,3} \end{bmatrix}$

Loss에 대해 W를 편미분하게 되면 Chain Rule에 의해 다음과 같이 만들 수 있다.

$\frac {\partial L}{\partial W} = \frac{\partial L}{\partial Y} \bullet \frac{\partial Y}{\partial W}$

이걸 풀어서 쓰게 되면

$\frac {\partial L}{\partial Y} = \begin{bmatrix} \frac{\partial L}{\partial {(x_{1,1} w_{1,1} + x_{1,2} w_{2,1}})} & \frac{\partial L}{\partial{(x_{1,1} w_{1,2} + x_{1,2} w_{2,2})}} & \frac{\partial L}{\partial{(x_{1,1} w_{1,3} + x_{1,2} w_{2,3})}} \\ \frac{\partial L}{\partial{(x_{2,1} w_{1,1} + x_{2,2} w_{2,1})}} & \frac{\partial L}{\partial{(x_{2,1} w_{1,2} + x_{2.2} w_{2,2} )}} & \frac{\partial L}{\partial{(x_{2,1} w_{2,2} + x_{2,1} w_{2,3})}} \end{bmatrix} = \begin{bmatrix} \frac{\partial L}{\partial Y_{1,1}} & \frac{\partial L}{\partial Y_{1,2}} & \frac{\partial L}{\partial Y_{1,3}} \\ \frac{\partial L}{\partial Y_{2,1}} & \frac{\partial L}{\partial Y_{2,2}} & \frac{\partial L}{\partial Y_{2,3}} \end{bmatrix}$

$\frac {\partial Y}{\partial W} = \begin{bmatrix} \frac{\partial Y}{\partial W_{1,1}} & \frac{\partial Y}{\partial W_{1,2}} & \frac{\partial Y}{\partial W_{1,3}} \\ \frac{\partial Y}{\partial W_{2,1}} & \frac{\partial Y}{\partial W_{2,2}} & \frac{\partial Y}{\partial W_{2,3}} \end{bmatrix}$

$\frac {\partial Y}{\partial w_{1,1}} = \begin{bmatrix} \frac{\partial Y}{\partial {(x_{1,1} w_{1,1} + x_{1,2} w_{2,1}})} & \frac{\partial Y}{\partial{(x_{1,1} w_{1,2} + x_{1,2} w_{2,2})}} & \frac{\partial Y}{\partial{(x_{1,1} w_{1,3} + x_{1,2} w_{2,3})}} \\ \frac{\partial Y}{\partial{(x_{2,1} w_{1,1} + x_{2,2} w_{2,1})}} & \frac{\partial Y}{\partial{(x_{2,1} w_{1,2} + x_{2.2} w_{2,2} )}} & \frac{\partial Y}{\partial{(x_{2,1} w_{2,2} + x_{2,1} w_{2,3})}} \end{bmatrix} = \begin{bmatrix} \frac{1}{x_{1,1}} & 0 & 0 \\ \frac{1}{x_{2,1}} & 0 & 0 \end{bmatrix}$

$\frac {\partial L}{\partial w_{1,1}} = \begin{pmatrix} \frac{\partial L}{\partial y_{1,1}} \times \frac{1}{x_{1,1}} \end{pmatrix} + \begin{pmatrix} \frac{\partial L}{\partial y_{1,2}} \times \frac{1}{x_{2,1}} \end{pmatrix}$

$\therefore \frac {\partial L}{\partial W} = X^T \bullet \frac{\partial L}{\partial Y}$