Gradient Descent

미분과 도함수

• 미분은 입력의 작은 변화에 비례해 출력이 얼마나 변하는지를 말해준다.
• 이런 성질은 미분 함수의 최소화에 유용하다.
• 도함수는 출력 y를 개선하려면 입력 x를 얼마나 변화해야 하는지에 대한 정보를 주기 때문이다.