Practice makes perfect!

1. 경사 하강법의 개요 3장에서 기울기 a에 따라 오차 값이 크거나 작아지는 것을 알았다. 기울기 a와 오차의 관계를 그리면 2차함수 그래프로 그릴 수 있는데, 이때 오차가 최소가 되는 값을 찾아야한다. 이때 미분 기울기를 이용해 오차가 가장 작은 방향으로 이동하는 것을 경사 하강법(Gradiant Descent)라 한다. 2차 함수에서 기울기가 0인(x축과 평행한) 점에서 최솟값을 갖는다. (위 그림에서 a=m일 때 최솟값을 갖는다) 즉 경사 하강법은 미분 값이 0인 지점을 찾는 것이다. 임의의 점 a1에서 미분하여 기울기 구함 구해진 기울기의 반대 방향으로 얼마간 이동시킨 a2에서 미분하여 기울기 구함 미분 값이 0이 될 때 까지 왔다갔다하며 반복 2. 학습률 2번 과정에서 적절한 이동 거리를 정해..

딥러닝은 작은 통계의 결과들이 무수히 얽혀 이루어지는 복잡한 연산의 결정체이다. 딥러닝을 이해하기 위해 말단에서 이뤄지는 가장 기본적인 두 가지 계산원리인 선형 회귀와 로지스틱 회귀를 알아야한다. 1. 선형 회귀 (linear regression) : '가장 훌륭한 예측선 긋기'라는 통계학 용어 '학생들의 중간고사 성적이 [ ]에 따라 다르다' [ ] = '정보' = x (독립 변수), 성적 = y (종속 변수, x값에 따라 변함) → 선형 회귀란 독립변수 x를 사용해 종속 변수 y의 움직임을 예측하고 설명하는 작업을 말함. 단순 선형 회귀(simple linear regression) : 하나의 x 값만으로 y 값을 설명 다중 선형 회귀(multiple linear regression) : x 값이 여..

졸업 작품을 준비하면서 딥러닝 공부를 시작하기로 했다. 교수님의 추천으로 길벗 출판사의 '모두의 딥러닝'을 구매했다. 일단 기초부터 차근차근 공부해나가야겠다. 사람이 할 수 있는 것과 유사한 판단을 컴퓨터가 해 낼 수 있게끔 인공지능을 연구하던 중, 기존의 데이터를 이용해 앞으로의 일을 예측하는 '머신러닝(machine learning)' 기법이 효과적임을 발견했다. 이 머신러닝 안에는 여러 알고리즘들이 있는데, 이 중 가장 좋은 효과를 내는 것이 바로 딥러닝이다. (딥러닝 ⊂ 머신러닝 ⊂ 인공지능) 기존에 우리가 했던 프로그래밍은 데이터를 입력해서 답을 구하는 데 초점이 맞춰져 있었다면, 머신러닝은 데이터 안에서 규칙을 발견하고 그 규칙을 새로운 데이터에 적용해서 새로운 결과를 도출하는 데 초점이 맞춰..