Practice makes perfect!

1. 경사 하강법의 개요 3장에서 기울기 a에 따라 오차 값이 크거나 작아지는 것을 알았다. 기울기 a와 오차의 관계를 그리면 2차함수 그래프로 그릴 수 있는데, 이때 오차가 최소가 되는 값을 찾아야한다. 이때 미분 기울기를 이용해 오차가 가장 작은 방향으로 이동하는 것을 경사 하강법(Gradiant Descent)라 한다. 2차 함수에서 기울기가 0인(x축과 평행한) 점에서 최솟값을 갖는다. (위 그림에서 a=m일 때 최솟값을 갖는다) 즉 경사 하강법은 미분 값이 0인 지점을 찾는 것이다. 임의의 점 a1에서 미분하여 기울기 구함 구해진 기울기의 반대 방향으로 얼마간 이동시킨 a2에서 미분하여 기울기 구함 미분 값이 0이 될 때 까지 왔다갔다하며 반복 2. 학습률 2번 과정에서 적절한 이동 거리를 정해..