딥 뉴럴 넷의 첫번쨰 문제(학습이 안된다.)_Relu의 탄생

우리는 뉴럴넷을 통해 기본적 1단을 사용해서 H(x)를 정의해서 학습시킨 문제점을 

뉴럴넷 그리고 딥 하고 와이드한 뉴럴넷을 통해 해결방법을 알았다. 하지만 딥러닝 여기서 겨울을 맞닿게 된다. 

바로 그것은 뉴럴넷을 딥하게 만들어서( 대략 8~9)단 까지 딥하게 쌓았다고 생각해보자. 

바로 여기서 첫번쨰 문제가 발생한다. 바로 Vanish Gradient라는 문제가 처음 발생한다. 

 

Vanish Gradient

우리는 뉴럴넷을 학습시킬때 백프로파게이션(Back propagation)이라는 학습방법을 사용하게 된다. 

하지만 네트워크가 딥해질수록 뒤로 전달하는것(예측값과 실제값의 차이를 미분한것)이  작아져서 의미가 없어지게 된다. 그러므로 입렵값에 따른 학습이 올바르게 작용 되지 않는것이다.

하지만 우리는 활성화함수로 시그모이드를 사용햇다. 

 따라서 이러한 vanishing gradinet발생

 

즉 정리해보자면 우리는 뉴럴넷을 사용할때 백프로파게이션을 이용한다. 하지만 우리는 활성화 함수로 시그모이드를 사용했기 때문에 vanishing gradient(뒤로 갈수록 학습이 잘 안되는 현상)이 발생한다. 

 

그래서 딥러닝의 겨울이 찾아온다.

여기서의 해결방법이 나오는데까지 무려 20년이 걸렸다. 

그 방법은 바로 활성화 함수로 RELU를 사용한 것이다. 

이렇게 우리는 첫번째 문제인 학습이 되지 않는 문제 해결을 하였다.