[딥러닝] 4-8 활성화 함수의 미분

이전포스팅:https://devlunch4.tistory.com/105

[딥러닝] 4-7 왜 비선형 활성화 함수를 써야할까요?

 

4-8 활성화 함수의 미분

 

학습목표;    활성화 함수를 미분할 수 있다.

 

핵심키워드;    미분(Derivatives)

 

학습내용;

• 시그모이드

         g(z)=1/(1+e^−z1​)

         g​′​​(z)=​(d/dz)*g(z)=g(z)(1−g(z)) 

• Tanh

         g(z)=(e^z​​-^e-z​)/(e^z+e^-z​​)

         g​′​​(z)=1−(g(z))^2​​ 

• ReLU

         g(z)=max(0,z) 

         g​′​​(z)=0  (z < 0인 경우)

         g​′​​(z)=1  (z >= 0인 경우)

• Leaky ReLU

         g(z)=max(0.01z,z) 

         g​′​​(z)=0.01  (z < 0인 경우)

         g​′​​(z)=1 (z >= 0인 경우)

 

 

• 영상시작
• >
• 신경망의 역방향 전파를 구현하려면 활성화 함수의 도함수를 구해야한다.
• 활성화 함수와 그 함수의 기울기를 어떻게 구하는가?

• 

• 

• 요약하자면 a가 g(z)인 tanh(z)일 때 도함수인 g'(z)는 1 - a²가 됩니다 
• >

• 

• 끝.