[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 28회차 미션

Part4-16. 쉽게 배우는 경사하강 학습법 - 04. (STEP 2) 경사 하강 학습법

미분과 기울기

미분은 얼만큼 변하는지 표현
기울기는 n차원으로 확장될때 각 차원에 대한 기울기를 구함
첫번째 그림의 경우 좌우로만 색이 변함으로 x0에서 양수 발생
두번째 그림의 경우 상하로만 색이 변함으로 x1에서 양수 발생
세번째는 대각선으로 색이 변함으로 x0,x1에서 수치 발생

경사하강법

초기값에서 다음값으로 어떻게 이동할 것인가 표현
미분한 값에 학습률을 곱한 값을 초기값에서 빼줌
f(x)값이 변하지 않을때까지 이를 반복

학습률의 선택

학습률은 단지 기울기에 곱하는 상수
작으면 수렴이 늦고, 크면 진동이 발생
너무 크게되면 발산하여 무한대로 가게됨.

Part4-17. 쉽게 배우는 경사하강 학습법 - 05. (STEP 2) 심화 경사 하강법

비볼록함수

대부분의 문제는 비볼록함수임으로 로컬미니멈에 빠질가능성이 높음

안장점(Saddle Point)

기울기가 0이 되지만 극 값이 아닌 지점
경사하감법은 안장점을 벗어나지 못함

관성(Momentum)

돌이 굴러떨어지듯 이동벡터를 이용해 이전 기울기 영향을 받도록 하는 방법
로컬미니멈에 빠져도 관성으로 넘어갈수 있음

관성계수를 더해주는 것이 차이

로컬미니멈에 대처할 수 있다는 점은 장점이나, 이동벡터를 사용하므로 메모리가 2배로 사용됨

적응적 기울기 (AdaGrad)

변수별로 학습률이 달라지게 하는 알고리즘
위치에 따라 학습률이 달라야하는 경우가 있음.

기울기가 제곱될때마다 스칼라를 제곱(음수제거)
얼만큼 기울기에 의해 이동했는지 파악 가능
gt가 클수록 학습이 많이된 변수
gt를 제곱했기때문에 루트를 씌워줌
e로 더해서 분모가 0이되지 않게끔 해줌

학습이 많이된 변수는 학습률을 감소시켜 다른 변수들이 학습이 잘되도록 함
gt가 계속 커지면 학습이 이뤄지지 않는 단점 발생

RMSprop

논문은 없고 제프리힌튼교수가 강의에서 설명
AdaGrad를 개선한 방법으로 지수평균을 사용
람다값을 곱해서 이전값을 감소시키고 새로운값을 키워줌

변수간의 상대적 학습률을 차이를 유지하되, gt가 무한정 커지지 않게하여 학습을 오래할 수 있음

Adam

Adaptive moment estimation(Adam) RMSprop와 Momentum의 장점을 결합한 알고리즘
가장 최신기술이며 딥러닝에서 가장 많이 사용
mt 관성(momentum) 부분
gt는 RMSprop의 gt와동일

딥러닝/인공지능 올인원 패키지 Online