Story of CowHacker

앞에서 알아본 모멘텀, AdaGrad를 합진 기술의 이름은 Adam이다. 이 Adam을 먼저 파이썬으로 구현해볼 것이다. Adam 코드 class Adam: """Adam (http://arxiv.org/abs/1412.6980v8)""" def __init__(self, lr=0.001, beta1=0.9, beta2=0.999): self.lr = lr self.beta1 = beta1 self.beta2 = beta2 self.iter = 0 self.m = None self.v = None def update(self, params, grads): if self.m is None: self.m, self.v = {}, {} for key, val in params.items(): self.m[ke..

이번에는 저번 글에서 알아본 SGD의 단점을 보완한 방법 중 모멘텀에 대해 알아보겠다. 모멘텀은 운동량을 뜻하는 단어다. 그림 1을 보면 두 개의 수식이 있는데 첫 번째 수식은 모멘텀을 수식화 한 것이고 두 번째 수식은 간소화한 수식이다. 이제 이것을 파이썬으로 구현해보겠다. 참고로 이 코드는 밑에 출처를 참고했다. 출처 : https://github.com/WegraLee/deep-learning-from-scratch WegraLee/deep-learning-from-scratch 『밑바닥부터 시작하는 딥러닝』(한빛미디어, 2017). Contribute to WegraLee/deep-learning-from-scratch development by creating an account on GitHu..