[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 58회차 미션

Part5-07. Ch 01. Image Classification - 07. Inception v1, v2, v3 - 2

Auxiliary classifier

추가로 붙어 있는 것이 Auxiliary classifier
학습시킬때는 붙여서 학습하고
test할때는 떼고 진행함

Auxiliary classifier에 해당하는 loss는 0.3과같이 좀 더 적게 반영함

Batch Nomalization

미니배치마다 nomalization구하고 스케일링 한 값을 같이 학습해서 최적의 값을 찾는 방식
스케일링하고 시프팅해서 원하는 값으로 만듬

모든네트워크에서 퍼포먼스가 올라가서
거의 모든 모델에서 사용

tensor factorization

원래 있던 행렬을 더 작은 핼렬로 분해해서 파라미터를 줄이는 방식
5X5 -> 3X3 -> 1X1로 만들어줌
연산량을 33%가량 절감시켜줌
nXn은 nx1 1xn을 바꿔줄 수 있음

Grid Reduction

Grid size(해상도)를 줄이기 위한 방법으로는 stride와 pooling을 사용해왔음
pooling이 먼저인가 conv가 먼저인가 고민
conv을 먼저하면 연산량이 많고
pooling을 먼저하면 Representational Bottleneck문제 발생

따라서 한꺼번에 사용하는 방법을 시도

Inception v3

Representational Bottleneck 해상도가 낮아지면서 정보 손실이 일어나는 문제
Representational Bottleneck를 막기 위해서 옆으로 이어서 붙여서 넓게해줌

Auxiliary classifier가 하나로 줄어듬. 크게 효과가 없었다고 함

Part5-08. Ch 01. Image Classification - 08. VGGNet, Residual Net(ResNet) - 1

VGG

1등을 하지 못했지만 인기가 더 많았음.
단순명쾌하고 쉽기 때문
모델이 반복되는 부분이 많아 직관적임

레이어를 늘려가면서 성능을 테스트함

Training data Augmentation

RGB를 PCA방법을 통해서 Augmentation 진행
scale방법으로 통한 Augmentation
single_scale(S를 고정하는 방법), multi_scale(S_min = 256, S_max = 512)

Testing

test와 train에 각각 scale을 지정해줌
Dense evaluation을 사용해서 성능을 향상시킴

ResNet

요즘 모델에 기반이 되고 있음
residual connection을 사용하고 있음

딥러닝/인공지능 올인원 패키지 Online