[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 31회차 미션

Part4-22. 쉽게 배우는 역전파 학습법 - 03. (STEP 2) 심층 신경망의 수학적 이해

심층신경망의 구조

은닉계층이 얕은 신경망과 달리 2개 이상
입력과 출력계층은 얕은 신경망과 동일

뉴런

뉴럴네트워크의 가장 기본단위
두개의 백터(weight와 x(input))의 내적
1Xn과 nX1의 백터를 곱해 스칼라 값을 도출

전결합계층(Fully Connected Layer)

뉴런이 늘어져 있는 형태로
weight와 bias를 쌓아서 행렬곱연산으로 쉽게 표현가능

심층신경망(Deep Neaural Network)

h0 = a0(W0x+b0) 형태의 심층신경망이 연쇄적으로 적용하면
심층신경망을 수학적으로 표현이 가능

Part4-23. 쉽게 배우는 역전파 학습법 - 04. (STEP 2) 역전파 학습의 필요성

블랙박스 모델의 학습

a,b,c,d의 trainable parameter가 있다고 가정
모아서 세타 벡터를 만들고 이를 입력하여 손실값을 도출

학습목표는 손실값을 최소화하는 매개변수를 찾음
이를 위해 손실값을 최소화하기 위해 Gradient Descent를 사용
미분
각각의 a,b,c,d에 대해 편미분

수치적 기울기(Numerical Gradient)

미분의 정의로부터 극한연산을 근사해 수치적 기울기를 구할수 있음.
0에 가까운 숫자 e라고 가정하면 근사
e값이 충분히 작다면 미분값을 사용할 수 있다고 가정할 수 있음

블랙박스 모델의 수치적 기울기

각 편미분에 대해서 각각의 값만 조금씩 변하는 값을 확인
미분 -> 그 값과 주변값을 2번 대입해서 비교하는 것이라고 간단하게 말할수 있음

스칼라 값을 각각 바꾸어 대입하면서 수치적 기울기를 구함
N개의 매개변수를 조금씩 바꿔서 대입해야하기 때문에 N+1번 만큼 연산이 필요함

심층신경망의 수치적 기울기

손실함수 평가에 필요한 곱연산 N(매개변수의 개수)번
weight의 곱만큼이 N개만큼 있음
bias에 따라서 수치가 달라질수 있으으므로 약 N개

N = 히든레이어의수(l) x n^2
일반적으로 1만개 이상발생
N * (N+1)의 연산이 필요
엄청나게 많은 연산이 필요하기 때문에 대책이 필요.
개선책으로 연전파 학습법을 사용

Part4-24. 쉽게 배우는 역전파 학습법 - 05. (STEP 2) 합성 함수와 연쇄법칙

연쇄법칙

미분할 변수로 미분대상을 미분하려고 할때
중간의 변수로 미분대상을 미분하고
미분할변수로 중간의변수를 미분하고 곱하면 동일한 결과가 나옴

직렬연결된 두함수의 미분

y=f(x) / z=g(y)

미분과 연쇄법칙

dy가 상쇄되서 없어짐
겉미분과 속미분하는 것과 동일

연쇄법칙의 확장

연쇄적으로 작용하여 모든것은 x로 표현할수 있게됨
y를 x로 미분하는 상황으로 보면
파이는 시그마와 유사하지만 곱하기를 표시

연쇄법칙을 사용할때 중간과정을 저장해놓을 수 있기때문에
다른 체인으로 연결되어도 쉽게 구할 수 있음 (동적계획법)

연쇄법칙을 이용하면 연속된 함수의 미분을 각각의 미분의 곱으로 표현가능

딥러닝/인공지능 올인원 패키지 Online