여러분은 웨이트의 값을 설정할때 어덯게 설정하시나요????? 필자는 웨이트와 바이어스를 설정하는 것이 항상 정해진 코드(개념)인줄 알았습니다. 하지만 오늘 강의를 듣고 나니 제 생각이 틀렸더라구요 (웃음) 저는 이전까지 W = tf.Variable(tf.random_normal([784, 10])) b = tf.Variable(tf.random_normal([10])) 방법대로 초기값을 설정했었습니다. 하지만 이렇게 하면 문제가 생기더 군요.............. 바로 웨이트의 처음 초기값이 '0'이 되게 되면 학습을 하게 되면 웨이트가 0 이기 때문에 학습이 되지 않는다는점......... 여러분은 알고 계셧나요???

우리는 뉴럴넷을 통해 기본적 1단을 사용해서 H(x)를 정의해서 학습시킨 문제점을 뉴럴넷 그리고 딥 하고 와이드한 뉴럴넷을 통해 해결방법을 알았다. 하지만 딥러닝 여기서 겨울을 맞닿게 된다. 바로 그것은 뉴럴넷을 딥하게 만들어서( 대략 8~9)단 까지 딥하게 쌓았다고 생각해보자. 바로 여기서 첫번쨰 문제가 발생한다. 바로 Vanish Gradient라는 문제가 처음 발생한다. Vanish Gradient 우리는 뉴럴넷을 학습시킬때 백프로파게이션(Back propagation)이라는 학습방법을 사용하게 된다. 하지만 네트워크가 딥해질수록 뒤로 전달하는것(예측값과 실제값의 차이를 미분한것)이 작아져서 의미가 없어지게 된다. 그러므로 입렵값에 따른 학습이 올바르게 작용 되지 않는것이다. 하지만 우리는 활성화함..

지도 학습(Supervised Learning)은 특징(features)이 이미 정해진 데이터를 사용하여 학습하는 방법입니다. 이 때 각 데이터에 정해진 특징은 레이블(label)이라고도 표현할 수 있으며, 레이블이 있는 데이터들의 집합은 트레이닝 세트(Training Set)이라고 부릅니다. 다음은 특정 사물에 해당하는 사진을 짝지어둔 데이터입니다. 사진이라는 데이터에 해당하는 특징(사물)을 짝지어 둔 데이터들의 집합이므로 이는 트레이닝 세트의 한 예로 들 수 있습니다. 오른쪽의 표에서 X는 자료의 특징을 표현할 때 사용하고, Y는 레이블을 의미합니다. 이렇게 주어진 트레이닝 세트를 학습하게 되면 이 데이터들을 기반으로 한 모델이 생성되고, 이 모델을 사용하면 어떠한 특징을 갖는 데이터가 어떤 레이블에..

트레이닝셋과 데스트셋을 나누어서 구별 해줘야 한다. 실제 많은 사람들이 트레이닝 셋을 또 2개로 나누어 놓는다.. 트레이닝 셋과 validation셋으로 나누어 놓는다. Validation셋은 일종의 모의시험이라고 생각하면 좋다. 만약에 트레이닝 셋이 너무 많다면??????? Online learning 데이터 셋 쪼갠다

linear Regression은 좌표상 위치한 데이터를 이어주는 직선(가설)을 그어서 데이터의 위치(값)을 예측하는 모델이었다. 반면에 Lositic(Binary) Classiificaiton은 2가지 중 하나를 찾는 가장 간단한 분류 모델이다. 0과 1을 분류해주는 가설의 적당한 그래프를 찾기위해 나온것이 바로 시그모이드 함수이다. 위의 시그모이드 함수의 표현식이다. 하지망 위의 가설로 전에 계산했던 코스트함수를 만들게 되면 밥그릇 같던 함수가 아닌 구불구불한 모습으로 나오게된다. 앞장에서 배운 cost함수와 다른점은 여기에서는 시작점에따라 결과값이 달라진다는 점입니다. Gradient descent방법으로 적용하면 접선의 기울기가 0인지점을 최저점으로 인식하는데 실제 최저점(Global cost m..

값을 알려주는 선형회귀와는 달리 clasiification은 분류(0, 1)을 보여준다. 예를들어서, 스팸 매일 , 유튜브의 알고리즘 같은 예가 있다. 당신들이 좋아하는 것만 보여주는 유튜브 이것이 classification을 이용한 것이다. 0.1 encoding -> classification ,,,,,, 알아 보자. classification이 linear regression 의 개념을 이용했다.???? 어느 정도 맞는 말이다....... 하지만 선형 회귀로는 문제점이 발생한다. H(x) =Wx +b라는 선형 회귀가 편하긴 하지만 0,1로 이루어진 결과가 편하고 그것이 편리하다.; (H(x)의 값이 너무 커져서 불편하다.) 그런데 여기서 재미있는 함수를 발견하게 된다. 그것이 바로 sigmoid이다..