Sigmoid 미분하기

우선 시그모이드는 다음과 같이 정의된다.

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

 

따라서 도함수를 이요한 몫의 미분법을 이용해 아래와 같은 수식이 유도된다는 것을 먼저 인지하자.

 

$$\frac{1}{g(x{)}^{\prime }}=\underset{h\to 0}{lim}\frac{\frac{1}{g(x+h)}-\frac{1}{g(x)}}{h}=\underset{h\to 0}{lim}\frac{\frac{g(x)-g(x+h)}{g(x+h)g(x)}}{h}=\underset{h\to 0}{lim}-\frac{g(x+h)-g(x)}{hg(x+h)g(x)}=\underset{h\to 0}{lim}-\frac{g(x{)}^{\prime }}{g(x+h)g(x)}=-\frac{g(x{)}^{\prime }}{g(x{)}^2}$$

 

그 다음 다시 돌아와서 시그모이드의 미분을 진행하면

 

$$\sigma (x{)}^{\prime }=-\frac{(1+e^{-x}{)}^{\prime }}{(1+e^{-x}{)}^2}=-\frac{-e^{-x}}{(1+e^{-x}{)}^2}=\frac{e^{-x}}{(1+e^{-x})(1+e^{-x})}=\frac{1-1+e^{-x}}{(1+e^{-x})(1+e^{-x})}=\frac{1}{1+e^{-z}}\bullet \frac{-1+e^{-x}}{1+e^{-x}}=\sigma (x)(1-\sigma (x))$$

즉

$$\sigma (x{)}^{\prime }=\sigma (x)(1-\sigma (x))$$

 

1. 몫의 미분법 진행

2. 상수인 1은 사라지고 지수의 미분법은 아래와 같은 수식을 따르므로 위와 같은 수식이 완성된다.

$$f(x)=e^{\alpha x},f(x{)}^{\prime }=e^{\alpha x}\bullet (\alpha x{)}^{\prime }$$

3. 분자의 -1과 앞에 -1은 곱해서 없어지고, 분모는 미리 풀어서 써준다.

4. 분자에 1-1 을 더해준다.

5. 분자와 분모를 적절히 나눠준다. 

6. 다음과 같은 수식이 완성된다.