자연어처리 Word2Vec 개념

이번 포스팅에서는 자연어 처리에서 단어의 분산 처리를 담당 해주는 Word2Vec을 알아보도록 하겠다. 일단 단어의 분산처리의 뜻부터 짚고 넘어가야 하는데 분산처리는 즉 단어를 여러 차원에 분산시켜 처리한다는 것이다. 예를들어 "i see you"라는 3가지의 단어로 이루어진 문장이 있을 때 "i"를 [0,0,1] "see"를[0,1,0] "you"를 [1,0,0]으로 3차원으로 분산시킨 것이다. 이상태만으로도 단어를 벡터화 해줄 수 있지만 이 방법은 여러 문제를 껴안고 있다. 그렇기에 많은 기술들이 나왔는데 이번에 알아볼 기술은 추론 기반 기법인 word2vec 그중에서도 CBOW모델이다. CBOW 초기 모델 위 사진이 기본적인 CBOW모델의 모습이다. CBOW모델에서 단어의 분산처리를 할 때 가장 기..

2021.07.18