[딥러닝] 4-7 왜 비선형 활성화 함수를 써야할까요?

이전포스팅; https://devlunch4.tistory.com/104

[딥러닝] 4-6 활성화 함수

 

4-7 왜 비선형 활성화 함수를 써야할까요?

 

학습목표;    비선형 활성화 함수를 사용하는 이유를 알 수 있다.

 

핵심키워드;

    비선형 활성화 함수

 

학습내용

• 선형 함수는  y=x ,  y=ax ,  y=ax+b 와 같은 함수를 의미합니다.
• 예를 들어  g(z)=z 라는 선형 활성화 함수를 사용한다고 가정했을 때, 3개의 은닉층을 쌓아도  g(g(g(z)))=z 로 아무런 혜택을 얻지 못했습니다. 따라서 은닉층에는 비선형 활성화 함수를 사용해야 합니다.
• 비선형 활성화 함수는 지난 강의에서 배운 ReLU, Sigmoid, Tanh 등의 함수가 있습니다.

>영상시작

• 신경망이 흥미로운 함수를 계산하려면 비선형 활성화 함수가 필요하다.
• 슬라이드1

• 

  정방향 전파 식이 있다.
• g(z) = z라고 할 수 있다. >> 선형 활성화 함수.>> 입력값을 출력값으로 내보내기 때문에 항등 함수라고 한다.
•  
• 슬라이드2

• 

• 앞의 값을 W'이라고 부르고 뒤 값을 b'라고 부르면 W' x + b'이 되겠죠