Dev study and notes

이전포스팅:https://devlunch4.tistory.com/108 [딥러닝] 4-10 역전파에 대한 이해 이전포스팅: https://devlunch4.tistory.com/107 [딥러닝] 4-9 신경망 네트워크와 경사 하강법 이전포스팅:https://devlunch4.tistory.com/106 [딥러닝] 4-8 활성화 함수의 미분 이전포스팅:https://devlunch4.tis.. devlunch4.tistory.com 4-11 랜덤 초기화 학습목표: 변수를 임의값으로 초기화하는 이유를 알 수 있다. 핵심키워드: 가중치 초기화(weight initialization) 신경망을 훈련시킬 때 변수를 임의값으로 초기화하는 것은 중요합니다 신경망에서 모두 0으로 초기화하고 경사 하강법을 적용할 경우 ..

이전포스팅: https://devlunch4.tistory.com/107 [딥러닝] 4-9 신경망 네트워크와 경사 하강법 이전포스팅:https://devlunch4.tistory.com/106 [딥러닝] 4-8 활성화 함수의 미분 이전포스팅:https://devlunch4.tistory.com/105 [딥러닝] 4-7 왜 비선형 활성화 함수를 써야할까요? 이전포스팅; https://devlunc.. devlunch4.tistory.com 4-10 역전파에 대한 이해 학습목표: 역전파의 식들이 어떻게 유도되는지 알 수 있다. 핵심키워드: 역전파 (backpropagation) 전파 > 로지스틱 회귀 g(z) 는 시그모이드 함수 > a는 z에 대한 시그모이드 함수 > 입력/은닉/출력 > 우리는 여섯 개의 중..

이전포스팅:https://devlunch4.tistory.com/106 [딥러닝] 4-8 활성화 함수의 미분 이전포스팅:https://devlunch4.tistory.com/105 [딥러닝] 4-7 왜 비선형 활성화 함수를 써야할까요? 이전포스팅; https://devlunch4.tistory.com/104 [딥러닝] 4-6 활성화 함수 이전 포스팅: https://devlunch4.ti.. devlunch4.tistory.com 4-9 신경망 네트워크와 경사 하강법 >> 영상필히 보기 > 계산식 설명 https://youtu.be/7bLEWDZng_M 학습목표; 경사 하강법 구현 방법을 알 수 있다. 핵심키워드; 경사 하강법 학습내용; 단일층 신경망에서 경사 하강법을 구현하기 위한 방법은 다음과 같습니..

이전포스팅:https://devlunch4.tistory.com/105 [딥러닝] 4-7 왜 비선형 활성화 함수를 써야할까요? 이전포스팅; https://devlunch4.tistory.com/104 [딥러닝] 4-6 활성화 함수 이전 포스팅: https://devlunch4.tistory.com/102 [딥러닝] 4-5 벡터화 구현에 대한 설명 이전포스팅; https://devlunch4.tistory.com/1.. devlunch4.tistory.com 4-8 활성화 함수의 미분 학습목표; 활성화 함수를 미분할 수 있다. 핵심키워드; 미분(Derivatives) 학습내용; 시그모이드 g(z)=1/(1+e^−z1​) g​′​​(z)=​(d/dz)*g(z)=g(z)(1−g(z)) Tanh g(z)=(e^..

이전포스팅; https://devlunch4.tistory.com/104 [딥러닝] 4-6 활성화 함수 이전 포스팅: https://devlunch4.tistory.com/102 [딥러닝] 4-5 벡터화 구현에 대한 설명 이전포스팅; https://devlunch4.tistory.com/101 4-4 많은 샘플에 대한 벡터화 4-4 많은 샘플에 대한 벡터화 학습목표; 신.. devlunch4.tistory.com 4-7 왜 비선형 활성화 함수를 써야할까요? 학습목표; 비선형 활성화 함수를 사용하는 이유를 알 수 있다. 핵심키워드; 비선형 활성화 함수 학습내용 선형 함수는 y=x , y=ax , y=ax+b 와 같은 함수를 의미합니다. 예를 들어 g(z)=z 라는 선형 활성화 함수를 사용한다고 가정했을 때..

이전 포스팅: https://devlunch4.tistory.com/102 [딥러닝] 4-5 벡터화 구현에 대한 설명 이전포스팅; https://devlunch4.tistory.com/101 4-4 많은 샘플에 대한 벡터화 4-4 많은 샘플에 대한 벡터화 학습목표; 신경망에서 다중 샘플에 대한 벡터화를 배울 수 있다. 핵심키워드; 벡터화(Vectorization).. devlunch4.tistory.com 4-6 활성화 함수 학습목표; 활성화 함수의 종류에 대해 알 수 있다. 학습내용; * Sigmoid a=​1/(1+e^​−z​​) Tanh a=​(e​^z​​+e^​−z)/(​​​​e​^z​​−e^​−z​​​​ ) ReLU a=max(0,z) leaky ReLU a=max(0.01z,z) Tanh 장점..

이전포스팅; https://devlunch4.tistory.com/101 4-4 많은 샘플에 대한 벡터화 4-4 많은 샘플에 대한 벡터화 학습목표; 신경망에서 다중 샘플에 대한 벡터화를 배울 수 있다. 핵심키워드; 벡터화(Vectorization) 학습내용; 표기법은 아래와 같습니다. a​[i][j]​ devlunch4.tistory.com --- 4-5 벡터화 구현에 대한 설명 학습목표; 신경망에서 다중 샘플에 대한 벡터화를 설명한다. 핵심키워드; 벡터화(Vectorization) 전파 첫훈련샘플 i = 1 인경우 Z^{1}(i) = W^[1](i)x[1](i)+b[1](i) 두번째 i =2…. 3..4..5..6.. 설명을 간단히 하기위해 b =0 으로 처리. W는 열벡터 훈련샘플을 모두 쌓아 훈련세..

이전포스팅; https://devlunch4.tistory.com/100 4-3 신경망 네트워크 출력의 계산 4-3 신경망 네트워크 출력의 계산 학습목표; 신경망의 출력값이 도출 되는 과정을 알 수 있다. 핵심키워드; 층(Layer) / 노드(node) 학습내용; 입력값이 노드를 통과할 때, 두가지 과정을 거치게 devlunch4.tistory.com --- 4-4 많은 샘플에 대한 벡터화 학습목표; 신경망에서 다중 샘플에 대한 벡터화를 배울 수 있다. 핵심키워드; 벡터화(Vectorization) 학습내용; 표기법은 아래와 같습니다. a​[i][j]​​ i : 몇 번째 층인지 의미합니다. j : 몇 번째 훈련 샘플인지 의미합니다. 지난시간에는 하나의 신경망. 이번시간에는 많은 샘플 x[1][i]를 활용..

이전포스팅; https://devlunch4.tistory.com/99 4-2 신경망 네트워크의 구성 알아보기 4-2 신경망 네트워크의 구성 알아보기 학습목표 신경망의 표현방법을 알 수 있다 핵심키워드 입력층 (input layer) 은닉층 (hidden layer) 출력층 (output layer) 학습내용; .. devlunch4.tistory.com --- 4-3 신경망 네트워크 출력의 계산 학습목표; 신경망의 출력값이 도출 되는 과정을 알 수 있다. 핵심키워드; 층(Layer) / 노드(node) 학습내용; 입력값이 노드를 통과할 때, 두가지 과정을 거치게 됩니다. z=w​T​​+b a=σ(z) 표기법은 아래와 같습니다. a​i​[l]​​ l : 몇 번째 층인지 의미합니다. i: 해당 층에서 몇 ..

이전포스팅: https://devlunch4.tistory.com/98 4-1 신경망 네트워크 개요 4-1 신경망 네트워크 개요 학습목표 이번 강의는 앞으로 배울 내용들에 대한 개요입니다. 핵심키워드 개요 (overview) --- * 복습 : 로지스틱 회귀 특성 x 와 변수 w,b를 입력하면 z를 계산/ devlunch4.tistory.com --- 4-2 신경망 네트워크의 구성 알아보기 학습목표 신경망의 표현방법을 알 수 있다 핵심키워드 입력층 (input layer) 은닉층 (hidden layer) 출력층 (output layer) 학습내용; 입력 특성들의 층을 입력층이라하며 a​[0]​​ 으로 표기합니다. 은닉층이랑 입력층과 출력층 사이에 있는 모든 층을 의미합니다. l번째 은닉층의 n번째 유닛..