여러분은 웨이트의 값을 설정할때 어덯게 설정하시나요????? 필자는 웨이트와 바이어스를 설정하는 것이 항상 정해진 코드(개념)인줄 알았습니다. 하지만 오늘 강의를 듣고 나니 제 생각이 틀렸더라구요 (웃음) 저는 이전까지 W = tf.Variable(tf.random_normal([784, 10])) b = tf.Variable(tf.random_normal([10])) 방법대로 초기값을 설정했었습니다. 하지만 이렇게 하면 문제가 생기더 군요.............. 바로 웨이트의 처음 초기값이 '0'이 되게 되면 학습을 하게 되면 웨이트가 0 이기 때문에 학습이 되지 않는다는점......... 여러분은 알고 계셧나요???

우리는 뉴럴넷을 통해 기본적 1단을 사용해서 H(x)를 정의해서 학습시킨 문제점을 뉴럴넷 그리고 딥 하고 와이드한 뉴럴넷을 통해 해결방법을 알았다. 하지만 딥러닝 여기서 겨울을 맞닿게 된다. 바로 그것은 뉴럴넷을 딥하게 만들어서( 대략 8~9)단 까지 딥하게 쌓았다고 생각해보자. 바로 여기서 첫번쨰 문제가 발생한다. 바로 Vanish Gradient라는 문제가 처음 발생한다. Vanish Gradient 우리는 뉴럴넷을 학습시킬때 백프로파게이션(Back propagation)이라는 학습방법을 사용하게 된다. 하지만 네트워크가 딥해질수록 뒤로 전달하는것(예측값과 실제값의 차이를 미분한것)이 작아져서 의미가 없어지게 된다. 그러므로 입렵값에 따른 학습이 올바르게 작용 되지 않는것이다. 하지만 우리는 활성화함..

지도 학습(Supervised Learning)은 특징(features)이 이미 정해진 데이터를 사용하여 학습하는 방법입니다. 이 때 각 데이터에 정해진 특징은 레이블(label)이라고도 표현할 수 있으며, 레이블이 있는 데이터들의 집합은 트레이닝 세트(Training Set)이라고 부릅니다. 다음은 특정 사물에 해당하는 사진을 짝지어둔 데이터입니다. 사진이라는 데이터에 해당하는 특징(사물)을 짝지어 둔 데이터들의 집합이므로 이는 트레이닝 세트의 한 예로 들 수 있습니다. 오른쪽의 표에서 X는 자료의 특징을 표현할 때 사용하고, Y는 레이블을 의미합니다. 이렇게 주어진 트레이닝 세트를 학습하게 되면 이 데이터들을 기반으로 한 모델이 생성되고, 이 모델을 사용하면 어떠한 특징을 갖는 데이터가 어떤 레이블에..

트레이닝셋과 데스트셋을 나누어서 구별 해줘야 한다. 실제 많은 사람들이 트레이닝 셋을 또 2개로 나누어 놓는다.. 트레이닝 셋과 validation셋으로 나누어 놓는다. Validation셋은 일종의 모의시험이라고 생각하면 좋다. 만약에 트레이닝 셋이 너무 많다면??????? Online learning 데이터 셋 쪼갠다

최솟값의 코스트를 찾기위해서 경사하강법을 사용하였다. 하지만 여기서 러닝레이트를 설정하는데,.....러닝레이트를 잘 정의하는 것이 중요하다. 러닝 레이트를 굉장히 크게 하다면 왔따갔따 하게 되서 문제가 발생한다. (스텝이 굉장히 크게 되면 밥그릇을 나가게 될수도 있다.) 이것을 오버슈팅(overshooting)이라고 한다. 코스트가 줄어들지 않으면 오버슈팅을 예싱하고 러닝레이트를 줄이는 것이 효과적이다. 반면에 러닝 레이트가 작을경우 스텝이 너무 작으면(러닝레이트)가 너무 작으면 최솟점에 도달하기점에 학습이 끝나서 문제가 발생한다. 코스트의 변화가 너무 작으면 러닝레이트를 좀더 늘리는것이 해결책이다. 러닝레이트의 적당한 값은 정해져 있지 않다. (각자의 환경에 따라 다르다.) 데이터중에서 큰 차이가 있는..

Softmax(소프트맥스)는 입력받은 값을 출력으로 0~1사이의 값으로 모두 정규화하며 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수이다. 소프트맥스 함수는 입력값을 모두 지수 값으로 바꿔줍니다. 따라서 다중분류 로지스틱이라는(분류를 여러개 하는것)것을 나타낼때 유용하게 사용됩니다. 예시를 보면 사진을 분석해 개 고양이 말을 구분하는 경우인데 이럴때에 마지막 과정에 보시면 softmax함수를 사용하여 확률을 구해줍니다. 그다음에는 argmax라는 함수를 사용해 주면 그 softmax로 분류된것들중 가장 확률이 높은것만 나오게 되어서 개, 고양이, 말을 각각 구분해주게 됩니다