[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 49회차 미션

Part4-61. 효과적으로 사용할 수 있는 기법 - 01. (STEP 1) 과적합의 해결

딥러닝을 사용하면서 생기는 문제점들에 대한 해결책을 알아보자

과대적합 (overfitting)

샘플들을 너무 잘 분류하려다보면 아웃라이어에 너무 영향을 받아서 예측을 못하는 경우가 발생
train데이터에만 최적합되어 다른 데이터를 반영할 때는 제대로 작동하지 못하는 경우

데이터셋의 구성

데이터셋의 의미

training Data : 실제모델을 학습하는데 사용되는 데이터
vailidation Data : 학습과정에 보여지는 데이터지만 모델학습에 사용되지 않고 검증하는데 사용하는 데이터
-> 과대적합을 막아주기 위해서 데이터를 나눠서 사용
test Data : 학습과정에서는 사용하지 않고 학습을 마친 모델을 평가하기 위해 한번만 사용

데이터셋의 활용

train set으로 학습하고 vaildation으로 검증하는 과정을 반복하고
마지막에 test로 확인

손실 함수 그래프

학습을 하는 동안 초반에는 일반적이지만, 어느시점을 지나면서 오히려 과적합되는 경우가 발생

Early stopping

validation loss가 일정 epoch 동안 감소하지 않으면 overfitting으로 간주하여 학습을 중단
일정구간을 확인하고 중단시키게끔 해야함

Drop out

일정한 비율의 뉴런을 제거하고 학습하는 방법
학습을 할때는 사용되나, test set에는 적용되지 않음
실제로는 여러 네트워크를 앙상블한 효과를 가짐

배치정규화 (Batch Normalization)

피쳐를 그대로 사용하지 않고 일반화 하여 변형하여 학습하기 때문에 overfitting을 개선하는데 도움이 됨
피쳐 중에서 유용한 정보만 가지고 오기 때문에 과적합을 방지할 수 있음

Part4-62. 효과적으로 사용할 수 있는 기법 - 02. (STEP 1) 추가적인 손실 함수

정규화기법 (Regularization)

알고리즘을 일반화를 개선하는 모든 기법을 말함
loss를 감소하는 것을 기대하면 안됨 (오히려 증가하는 경향이 있음)
vaildation 또는 test에서 loss값을 더 감소하는 것을 목적으로 함
최적화에 추가적으로 손실함수를 추가하는 기법을 정규화 기법이라고 함

weight decay

l2 Norm을 최소화하는 정규화 기법
모든 weight들을 제곱해서 더해주고 평균을 한다음 weight decay를 적용할 비중을 결정
weight가 지나치게 커지는 것을 방지함

weight decay의 직관적 이해

weight값이 지나치게 커지는 경우 decision boundary가 복잡해지는데
weight값의 크기를 조절함에 따라 복잡해지는 것을 방지할 수 있음.

단 train에서의 loss값이 증가하는 경향을 보이나
test, vaildation에서는 과적합을 줄여줄 수 있게 됨

영상복원 문제(Image Reconstruction)

주관적인 평가가 중요함. 사람눈으로 봐서 좋아야 좋은 알고리즘이라고 판단
psnr의 경우 21.59db/23.53db/21.15db로 원래는 더 높을수록 좋은 것이나, SRGAN이 좋은 출력을 보임
정규화가 잘되었기 때문

VGG Loss

VGG-16 Network의 특징을 사용해서 Content Loss(컴퓨터가 영상을 구분하는데 최적화된 특징) 출력
물체를 구분하는데 특화된 특징을 살지면 좋은 복원결과를 나타낼 것이라는 합리적인 생각
정답과 복원결과의 VGG Feature를 추출하여 MSE로 비교
추가적으로 VGG loss를 비교하므로써 물체를 더 정확하게 비교가능

화질평가 기법 SSIM (Structural Similarity Index)

SSIM이 높은 값이 나올수록 좋은 것.
퀄리티가 낮다고 생각할때 SSIM이 낮게 나옴
MSE loss가 동일한 경우에도 다양한 값이 나옴
MSE가 픽셀하나씩만 비교한다면 SSIM은 구조적으로 비슷한 경우를 체크

딥러닝/인공지능 올인원 패키지 Online