Sigmoid 미분하기

우선 시그모이드는 다음과 같이 정의된다.

$$ \sigma(x) = \frac{1}{1+e^{-x}} $$

 

따라서 도함수를 이요한 몫의 미분법을 이용해 아래와 같은 수식이 유도된다는 것을 먼저 인지하자.

 

$$ \frac{1}{g(x)'} = \lim\limits_{h\to 0} \frac{ \frac{1}{g(x+h)} - \frac{1}{g(x)}}{h} = \lim\limits_{h \to 0} \frac{ \frac {g(x) - g(x+h)} {g(x+h)g(x)}}{h} = \lim\limits_{h \to 0} - \frac{g(x+h) - g(x)}{h g(x+h) g(x)} = \lim\limits_{h \to 0} - \frac{g(x)'}{g(x+h)g(x)} = - \frac{g(x)'}{g(x)^2}  $$

 

그 다음 다시 돌아와서 시그모이드의 미분을 진행하면

 

$$ \sigma(x)' = - \frac{(1+e^{-x})'}{(1+e^{-x})^2} = -\frac {-e^{-x}}{(1+e^{-x})^2} = \frac{e^{-x}}{(1+e^{-x})(1+e^{-x})} =  \frac{1 -1 + e^{-x}}{(1+e^{-x})(1+e^{-x})} = \frac{1}{1+e^{-z}} \bullet \frac{-1+e^{-x}}{1+e^{-x}} = \sigma(x)(1-\sigma(x))   $$

즉

$$ \sigma(x)' = \sigma(x)(1-\sigma(x)) $$

 

1. 몫의 미분법 진행

2. 상수인 1은 사라지고 지수의 미분법은 아래와 같은 수식을 따르므로 위와 같은 수식이 완성된다.

$$ f(x)  = e^{\alpha x}, f(x)' = e^{\alpha x} \bullet (\alpha x)'  $$

3. 분자의 -1과 앞에 -1은 곱해서 없어지고, 분모는 미리 풀어서 써준다.

4. 분자에 1-1 을 더해준다.

5. 분자와 분모를 적절히 나눠준다. 

6. 다음과 같은 수식이 완성된다.