Story of CowHacker

이번에는 확률적 경사 하강법 , SGD에 대해 알아보겠다. 그림 1은 SGD를 수식으로 나타낸 것이다. W는 갱신할 가중치 매개변수고 뒤에 빼는 분자 분모는 손실 함수의 기울기다. 이것을 파이썬으로 구현해보겠다. SGD 파이썬 코드 class SGD: def __init__( self, lr = 0.01 ) : self.lr = lr def update ( self, params, grads ) : for key in params.keys() : params [ key ] -= self.lr * grads [ key ] 위 코드를 해석해보면 초기화받는 인수 lr은 learninig rate ( 학습률 )를 뜻한다. 이것을 인스턴스 변수로 유지한다. update 메서드는 SGD 과정에서 반복해서 불린다. ..