[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 57회차 미션

Part5-05. Ch 01. Image Classification - 05. ZFNet, Network in Network

ZFNet

AlexNet이 발전된 개념
Clarifai - Matthew Zeiler의 논문
"Visualizaing and Understaning Convolution Networks"

1.Visualization with a Deconvnet
컨볼류션을 반대로 수행해서 시각화하하여 잘 학습되고 있는지 판단하는 것

• unpooling
  Max-pooling한 지점을 저장(switches)해두고 다시 복구하는 과정
• Rectification
  ReLU함수로 양수로 나온 값은 그대로 두고, 음수는 재생성이 불가능하므로 0으로 둠
  0으로 둬도 에러는 잘 나지 않는다고 함
• Filtering
  Convolution filter값을 복구하는 과정

특징

Rotation보다 Translation, Scaling에 상대적으로 강인하게 작동함
앞쪽보다 뒤쪽 layer에서 변화가 invariant함

2. Senstivivity Analysis
   

   

   
   이미지의 일부를 가려서 activation의 정도를 통해 heatmap을 그려냄

AlexNet과 차이

1개의 GPU를 사용
더 적은 에폭 사용
7x7, stride 2를 사용

Network in Network

GoogleNet에 아이디어 제공

CNN은 Linear filter dot product 진행
NIN은 nonlinear multi layer perceptron

Global Average Pooling

Fully connected layer에서 파라메터가 증가하는 현상을 방지해서
overfitting을 막는 효과가 있음

class의 수만큼 feature map을 만들어서 class를 배분

Part5-06. Ch 01. Image Classification - 06. Inception v1, v2, v3 - 1

깊고 넓은 네트워크가 좋다는 인식
단점1. 학습시키는데 오래걸림(파라메터가 많다)
Q1 파라미터를 어떻게하면 줄일 수 있을까?
1X1 conv를 이용해 채널의 크기를 자유롭게 변화시킬 수 있음
Tesor factorization 행렬 분해를 이용해 파라미터를 줄일 수 있음

Q2 연산을 효율적으로 하기 위한 방법
매트릭스 연산이 많아지면 성능이 떨어지기 때문에
매트릭스 연산이 dense해야함(???)

단점2 학습이 어려움
Q3 깊은 layer까지 정보가 전달되기 어려움
auxilliary layer를 중간에 추가해서 학습를 전달
Q4 overfitting이 덜되는 구조를 어떻게 만들까?
spaarse한 convolution을 만들어야 함

inception module

다양한 feature를 뽑기 위해 여러개의 conv를 병렬로 사용함

각 연산에서
1x1 conv를 추가해서 차원을 감소시켜 연산량을 줄여줌

inception v1(googleNet)

인셉션 모듈을 여러개 연결하여 만듬
alexnet에 비해 파라미터가 1/12만큼 줄어듬

딥러닝/인공지능 올인원 패키지 Online