Adam optimizer

적응형 모멘트 추정

(Adaptive Moment Estimation, Adam)

각 매개변수마다 맞춤 학습률을 계산하는 최적화 스케줄이다.  Adadelta 와 RMSProp도 Adadelta 부분에서 첫번째 방정식에서 설명한 대로 이전 경사들의 제곱값의 감소 평균을 사용한다. 그렇지만 이전 경삿값의 감소 평균을 사용한다.

SG와 SSG는 수학적으로 경사의 첫번째와 두번째 모멘트를 추정하는 것과 같아서 이 방식을 적응형 모멘트 추정이라고 한다.

Adam 최적화에서는 3가지 초매개변수 기본학습률, 경사감소율, 경사제곱값의 감소율이 눈에 띈다. Adam은 최근 복합적인 딥러닝 모델을 훈련하는 데 성공적인 최적화 스케줄 중 하나이다.