[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 25회차 미션

Part4-10. 가장 단순한 신경망을 통한 작동원리 - 05. (STEP 2) 이진 분류 문제

Decision Boundary에 의해 집단을 분류

로지스틱 회귀

범주형 데이터를 대상으로 하는 회귀, 분류기법으로 도 불수 있다.
범주형 - 클레스가 있는 데이터 (0,1,2 or 개, 고양이, 돼지)
단순 구분하기 위함임으로 0,1,2에 의미가 있지 않음

로지스틱회귀는 선형회귀나 비슷하나, 범주형 데이터를 분류하는 방향으로 선을 그음

시모이드 함수

0을 기준으로 0.5보다 작으면 0, 크면 1로 수렴
모든 실수 입력값에 대해 출력이 정의됨 (아무리 커져도 01사이)
출력이 01사이로 확률을 표현할 수 있음
입력값이 0에 가까울 수록 출력이 빠르게 변함(S자 그래프의 특징)
모든 점에서 미분 가능

이진분류문제는 a,b에 둘중 어디에 속하는 지가 중요
0.5를 기준으로 a,b분류가 가능

교차 엔트로피 오차(Cross centropy error;CEE)

정답이 1일때 추정이 1이라면 오차가 0
멀어지면 멀어질수록 에러가 증가

정확히 맞추면 오차가 0, 틀릴수록 오차가 무한히 증가

다중 로지스틱 회귀의 기하학적 해석

변수가 하나 추가될때마다 차원이 증가

얕은 신경망과 분류알고리즘

얕은신경망으로 분류를 수행하는 경우 출력계층은 로지스틱회귀와 동일
입력계층에서 은닉계층으로 추가적인 변환이 있다는 점이 다른점

은닉계층과 회귀

선형적으로 분리가 되지 않는 class를 은닉계층에서 분류가 되게끔 변형
입력기준으로 보면 Decision Boundary가 곡선으로 됨

Part4-11. 가장 단순한 신경망을 통한 작동원리 - 06. (STEP 2) 다중 분류 문제

이진분류 - 고양이가 맞는가? -> yes
다중분류 - 이게 뭐냐? -> 개
다중분류는 어떤물체인지 표현해줘야 함

정답을 어떻게 표현할 것인가?

one-hot-encoding : 한개의 값만 1이고 나머지는 0인 벡터로 표현하는 기법
희소백터 : 대부분의 값이 0이고 크기가 있는 값이 희소하게 나타나는 백터
희소표현으로 백터 전체를 표기하지 않고 숫자하나로 표현가능(라벨인코딩)

얉은 신경망을 이용한 다중클래스 분류

한가지 확률만 100%고 나머지가 0인것이 정답 즉 원핫인코딩
출력을 확률로 변환하기 위해선 소프트맥스함수 사용

어떻게 출력을 계산할 것인가 softmax function

각 입력의 지수합수를 정규화 한것
지수함수는 반드시 양수값을 갖음
각 출력의 값은 0~1 사이의 값을 갖음
모든 출력의 합이 반드시 1이됨
여러 경우의 수 중 한가지에 속할 '확률'을 표현

softmax vs sigmoid

특수한 상황가정
입력이 2개인경우 한가지 값이 0으로 고정되어 있다고 가정
-> 결과적으로 시그모이드와 동일

sigmoid는 2가지 클래스를 구분하기 위해 1개의 입력을 받는다는 점

정답과 출력을 어떻게 비교할까

y는 원핫인코딩
곱해주기 때문에 1이되는 요소 하나에만 곱셈 진행
정답인 클래스에 대해서만 오차를 계산

교차 엔트로피 오차(cross entropy error)

오차를 확인하는 것은 정답클래스에서만 비교하지만
softmax로 인해 다른 클레스에 대한 학습에도 영향을 줌

딥러닝/인공지능 올인원 패키지 Online