[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 59회차 미션

Part5-09. Ch 01. Image Classification - 09. VGGNet, Residual Net(ResNet) - 2

Residual Learning

일반적으로는 계속 연속적으로 연산을 수행하게됨
Residual connection은 input의 정보를 다음 레이어 전에 절단해서
F(x)함수의 weight를 학습
Residual connection을 통해 미세한 변동폭을 확인 할 수 있음

일반적인 경우 레이어가 깊어지는 경우 성능이 하락하나
ResNet은 깊은 레이어까지 학습이 가능해짐

Bottleneck Architecture

1x1 -> 3x3 -> 1x1
형태로 사용하여 연산시간을 감소

CIFAR -10

ResNet의 성능을 측정하기 위한 데이터
ImageNet(224x224)의 크기보다 작은 데이터(32x32)

Part5-10. Ch 01. Image Classification - 10. MobileNet, Squeezenet, DenseNet - 1

다양한 모델들

accuracy부분에서는 inception-v4
weight면에서는 vgg-19가 이점이 있음

하드웨어, 플렛폼 등을 고려할때는 정확도가 높다고 좋은 모델은 아니며
속도, 용량 등도 중요한 고려요소가 됨
따라서 연산량을 줄이려는 모델들에 집중하게됨
MobileNet, Squeezzenet은 operation 속도를 줄이면서 성능을 다소 포기함

효율적인 conv모델을 만드는데 목적을 둠

MobileNet

경량화가 잘된 모델
Depthwise separable convolution을 활용해서 경량화를 할 수 있었음

Dimension Reduction

일반적인 conv는 wXhXc를 conv연산을 수행해서 하나의 값으로 mapping됨
Depthwise convolution은 채널의 각각의 값을 유지하는 conv
Pointwise convolution은 채널간의 conv를 수행 (1x1 conv라고도 불림)

Depthwise separable convolution

Depthwise convolution와 Pointwise convolution를 결합한 방식
Depthwise는 채널의 정보를 유지하고
Pointwise로 채널간의 conv를 수행하게 됨

기존의 방법보다 파라메터와 오퍼레이션이 줄어들게됨

parameter

• Width Multiplier
  알파값은 네트워크의 width를 결정
• Resolution Multiplier
  로우값은 input Resolution을 결정하는 파라미터

SqueezeNet

MobileNet처럼 depth와 channel의 정보를 분리해야한다고 생각

Squeeze layer와 Expansion layer로 구성

• Squeeze layer
  1x1 conv로 channel reduction 수행
• Expansion layer
  1x1 conv와 3x3 conv를 병렬적으로 수행
  두개의 conv의 크기가 맞지 않음으로 padding으로 합쳐줌

딥러닝/인공지능 올인원 패키지 Online