Story of CowHacker

앞에서 알아본 모멘텀, AdaGrad를 합진 기술의 이름은 Adam이다. 이 Adam을 먼저 파이썬으로 구현해볼 것이다. Adam 코드 class Adam: """Adam (http://arxiv.org/abs/1412.6980v8)""" def __init__(self, lr=0.001, beta1=0.9, beta2=0.999): self.lr = lr self.beta1 = beta1 self.beta2 = beta2 self.iter = 0 self.m = None self.v = None def update(self, params, grads): if self.m is None: self.m, self.v = {}, {} for key, val in params.items(): self.m[ke..

이번에는 확률적 경사 하강법 , SGD에 대해 알아보겠다. 그림 1은 SGD를 수식으로 나타낸 것이다. W는 갱신할 가중치 매개변수고 뒤에 빼는 분자 분모는 손실 함수의 기울기다. 이것을 파이썬으로 구현해보겠다. SGD 파이썬 코드 class SGD: def __init__( self, lr = 0.01 ) : self.lr = lr def update ( self, params, grads ) : for key in params.keys() : params [ key ] -= self.lr * grads [ key ] 위 코드를 해석해보면 초기화받는 인수 lr은 learninig rate ( 학습률 )를 뜻한다. 이것을 인스턴스 변수로 유지한다. update 메서드는 SGD 과정에서 반복해서 불린다. ..