[패스트캠퍼스 수강 후기] 인공지능강의 100% 환급 챌린지 43회차 미션

Part4-47. 순환 신경망(RNN) - 05. (STEP 2) 심화 순환 신경망의 수식적 이해 - 1

수식을 보고 이해할 수 있을 정도면 괜찮음.
해당 수식이 어떻게 작동하는지 이해하고
다른 수식에 어떻게 활용될 수 있는지 정도만 파악해도 오케이

LSTM (Long Short Term Memory) 수식

Forget Gate

시그모이드 activation을 가지는 fully conected layer
입력과 이전 히든레이어를 concatate
특징별로 기억할지 말지를 결정할 수 있음.

Input Gate

새로운 입력을 얼만큼 받을지 결정

Cell State

이전것은 얼마나 잊을지, 현재것을 얼마나 받아들일지 결정하여 ct를 결정
⊙(Hadamard) 연산자는 element의 곱

Output Gate

어떤 특징을 출력할지 결정

Hidden state

tanh를 사용하는 이유는 출력값의 범위가 -1~1로 bound되게끔 하기 위함
값이 점점 누적됨에 따라 gradient가 커지면 발산이 생길수도 있기 때문임

Part4-48. 순환 신경망(RNN) - 06. (STEP 2) 심화 순환 신경망의 수식적 이해 - 2

GRU수식

Reset Gate

이전 히든스테이트와 현재 입력중 어떤 특징을 리셋할지 결정
현재 피쳐를 뽑을때 얼마나 잊을 것인가의 개념
전체의 큰 맥락을 기억하지만, 현재 피쳐를 뽑을때 방해되는 경우

예시
"나는 사과가 좋다. 너는 과일을 싫어한다. 나는 어떤 과일이 먹고싶을까?"
이 질문에 답변하려면
이전문장에서 나는 사과를 좋다는 문장을 기억해야함
다른문장이므로 구분짓는 구간이 필요 이것이 단기적으로 활용하지 않기 위한 reset gate

Forget Gate

잊어버린만큼을 다시 기억하는데 활용
Forget Gate와 Output Gate의 역할을 같이 함

Hidden state

입력과 이전히든스테이트에 리셋게이트를 적용한 것에 tanh적용
리셋게이트에서 이전 히든스테이트를 잊어버리고 새로운 부분을 상보받음
잊어버리는 만큼만 추가됨 따라서 추가적은 tanh가 필요하지 않음

딥러닝/인공지능 올인원 패키지 Online