[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 51회차 미션

Part4-65. 효과적으로 사용할 수 있는 기법 - 05. (STEP 2) 배치 정규화와 변형 기법들 - 2,3

배치정규화의 한계

미니배치에 의해 크게 영향을 받는다 (가장 큰 문제점)
배치의 크기가 작으면 잘 동작하지 않음
극단적으로 1이라고 할때, 평균 그 자체가 됨.
큰수의 법칙에 의해서 정규분포를 따른다는 것을 가정하고 하는 것이기 때문에 배치크기가 작으면 문제가 생김
메모리 한계가 큰 RNN이나, 크기가 큰 CNN에 적용하기 어려움

반면 배치의 크기가 너무 커도 잘 동작하지 않음.
가우시안이 여러개 나타는 것을 가우시안 믹스쳐가 발생
배치가 커지게되면 병렬화 효율이 떨어지고 학습이 잘 되지 않음

가중치정규화(weight Normalization)

기존 fully 중 하나의 출력만 보면
weight를 re-parametrization해서 v와 g로 분해함
v는 백터고 g는 스칼라임
v의 크기는 무시하고 방향만 사용
g가 크기를 대체

자유도가 개선되어 최적화가 더 쉽게 이뤄짐
학습시 CNN에서 배치정규화 대비 연산량이 감소함
(피쳐에 적용하는 것은 연산이 크지만, weight에 적용하면 연산량이 적음)

계층 정규화(Layer Normalization)

트랜스포머 모델에서 사용했음
배치와 유사하지만, 계층에 정규화를 한다는 점이 다름 (모든 데이터가 independent 하다고 가정)
배치크기에 영향을 받지 않으며, RNN에서도 잘 작동함

CNN의 발전

vanlia CNN -> ResNet(preactivation) -> DenseNet
vanlia CNN이 잘 안쓰이게됨.

자가 정규화 신경망 (Self Normalizing Neural Network

Relu 대신 SELU사용
알파 드롭아웃 사용
배치보다 안정적인 출력을 얻을 수 있음

SELU (Scaled Exponential Linear Unit)

ReLU와 다르게 음수값을 Exponential하게 활성화하는 특징이 있음
람다와 알파값으로 조절해서 사용가능.
정규화를 할수 있는 방안이 추가됨
그대로 출력할수 있는 부분(양수)
압축할 수 있는 부분(음수)로 나타남

알파-DropOut

RELU는 Dropout이 잘 잘동함.
따라서 SELU에 적합하게 작동하기 위해 변형

SNN Results

SELU와 알파드롭아웃이 추가된것이지 복잡한 내용은 아님
다른 것들보다 훨씬더 좋은 성능을 보임
컨셉적으로 성능이 좋았던(ResNet, DenseNet)보다 더 좋은 성능을 보임
수학적인 연구를 통해서 성능을 개선할 수 있다는 것을 보여주는 좋은 사례

딥러닝/인공지능 올인원 패키지 Online