[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 24회차 미션

Part4-08. 가장 단순한 신경망을 통한 작동원리 - 03. (STEP 2) 얕은 신경망의 수식적 이해

얕은신경망을 이해해야 심층신경망에 대해 이해하기 용이함

뉴런의 수학적표현

a는 활성화함수
편향이 없을 경우 뉴런이 표현할 수 있는 것이 원점을 지나는 선으로 고정됨.
편향이 있을경우 원점에서 벗어날수 있는 능력을 부여

wTx형태로 자주 표현
y = a(wTx+b)

전결합계층의 수학적표현

매트릭스 연산으로 변환 -> 벡터와 매트릭스 연산
벡터의 내적을 나열하면 매트릭스 연산이 된다고 이해

입력계층

입력계층은 아무런 연산도 일어나지 않음
신경망의 입력을 받아서 다음계층으로 넘기는 역할
"어떤 입력이 주어지는 가"가 중요 문제 -> 특징추출의 문제
계층의 크기 = Node의 개수 = 입력 Scalar의 수 = 입력 Vector의 길이

볼드되어 있는 경우 백터
이텔릭으로 되어 있는 경우 스칼라

은닉계층

은닉계층은 입력계층과 연결된 전결합계층.
입출력관점에서 볼때 드러나지 않기 때문에 은닉계층이라고 함
복잡한 문제를 해결할 수 있게하는 핵심적인 계층
얕은 신경망에서는 1개의 은닉계층만 사용

h를 사용해서 은닉계층 표현

출력계층

출력계층은 은닉계층 다음에 오는 전결합 계층
외부로 출력신호를 전달하는데 사용됨
신경망의 기능이 출력계층의 활성화 함수에 의해 결정됨(ao)
출력계층의 크기 = 출력 Scalar수 = 출력 벡터의 길이

Part4-09. 가장 단순한 신경망을 통한 작동원리 - 04. (STEP 2) 회귀 문제의 이해

회귀

입력이 들어왔을때 연속적인 값을 추정
회귀곡선에 의해서 새로운 입력이 들어올때 출력되는 값 추정

단순선형회귀

선형회귀 : 데이터를 가장 잘 표현하는 선형식을 찾는 동작
y = wx+b
w, b를 찾는 것이 선형회귀의 중심

arg min
arg : w를 찾는다
: w를 가장 적게 만드는 값을 찾는다

MSE(Mean Squared Error)
에러를 내고 제곱하고 평균한다
y-yi : 에러
(y-yi)^2 : 제곱
2로 나누는 것은 관습 (미분할때 편리하기 위해서) 크게 신경쓰지 않아도됨

오차를 제곱한 값이 최소가 형태의 선을 긋는것이 선형회귀

단순선형회귀는 추정해야할 변수가 하나

다중선형회귀

벡터의 내적으로 표현가능

다중선형회귀의 기하학적 해석

단순선형회귀 하나의 선

다중선형회귀는 차원이 하나씩 추가됨
n개의 차원을 갖는 hyper-plane이 됨

직선->평면->초평면

얉은 신경망과 회귀알고리즘

a0가 Identity가 되면서
선형회귀과 동일하게됨

입력계층과 은닉계층의 추가적인 변화가 있다는 점이 다름

은닉계층과 회귀

선형적으로 분포하지 않는 입력은 은닉계층에서 선형에 가깝게 변형
다시 출력관점에서 입력형태로 변환한다면
자연스럽게 데이터를 다 표현할 수 있는 선이 그려지게 됨

딥러닝/인공지능 올인원 패키지 Online