[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 30회차 미션

Part4-20. 쉽게 배우는 역전파 학습법 - 01. (STEP 1) 심층 신경망의 구조

뉴런

입력, 가중치와 편향, 활성화함수, 출력

얕은 신경망

히든레이어에서는 시그모이드가 주로 사용
출력계층에서는 리니어엑티베이션(회귀), 소프트맥스(분류)가 주로 사용

심층신경망

얕은 신경망보다 은닉계층이 많은 신경망을 DNN으라 부른다
보통 5개 이상의 계층이 있는 경우 Deep하다고 말함 (사람마다 기준이 다름)

은닉계층이 추가되면서 비선형변형이 추가됨
학습매개변수의 수가 계층크기의 제곱에 비례
시그모이드의 활동이 원할하지 않음. 기울기소실문제 발생(Gradient Vanishing)
ReLU 합수 사용

Part4-21. 쉽게 배우는 역전파 학습법 - 02. (STEP 1) 역전파 학습법의 개념

의존성 있는 함수의 계산

y=f(x,z)
x=g(a,b,c), z=h(c,d,e)
a,b,c / c,d,e
a,b,c로 x를 구하고 , z를 구하기 위해 c,d,e를 구함
c에서 동일연산이 2회 발생되므로 1회가 중복되는 비효율이 발생

동적계획법(Dynamic Programming)

c, 3번의 값을 저장해둬 중복을 방지

연쇄법칙(Chain Rule)

두 함수의 미분은 각 미분을 연쇄적으로 곱한 것과 같음
y = f(x) z=g(y)
z = g(f(x))
g(f(x) x f(x))

심층신경망에서 미분

연쇄법칙을 이용하려면 손실함수를 미분이 필요
은닉계층은 손실함수 출력계층의 미분을 필요
각 출력계층, 손실함수의 미분을 저장해 중복연산을 피함
중간에 있는 은닉계층의 미분을 하려면 모든 은닉계층, 출력계층 손실함수의 미분이 필요

순방향추론(Forward Inference)

순차적인 연산을 수행하는 것을 순방향 추론이라함
학습을 마친후 알고리즘을 사용할때는 순방향추론만 사용

역전파학습(Back Propagation)

순방향과 반대로 이뤄지기 때문에 역전파 학습이라 부름
연쇄법칙과 동적계획법을 이용해 효율적으로 계산
GPU를 사용해서 사용하는 효율적인 연산
역전파학습이 빠른이유는 대량의 메모리를 사용하는 연산을 동적계획법으로 처리하기 때문

딥러닝/인공지능 올인원 패키지 Online