RNN, Truncated BPTT, Time RNN

이번에는 자연어 처리에서 자주 사용되는 RNN들을 깊게 탐구했다. RNN이란 쉽게말해 순환되는 신경망, 시계열 데이처를 처리하는 신경망등이라고 할 수 있겠다. RNN은 같은 모델을 순환반복하면서 시계열 데이터를 처리하는 모델인 것이다. 이 RNN의 역전파를 끊어서 학습한 것이 Truncated BPTT이고 시계열 데이터를 학습하기 편하게하며 동시에 Truncate BPTT도 같이 이용할 수있도록 RNN을 여러개를 묶어 모델화한 것이 TimeRNN이다. RNN 위에서도 말했듯 RNN은 시계열 데이터를 처리하는 신경망이라고 할 수 있다. 시계열 데이터란 순서,순차가 있는 데이터라고 봐도 무방할 것 같다. 예를 들어 문장 "i eat apple"은 3개의 단어가 순차적으로 연결되어야 그 의미가 성립하는 시계열..

2021.07.27