목록컴퓨터공학/ML (1)
이모저모
word2vec
word2vec단어의 의미를 n-차원 벡터로 벡터화시키는 것이다.예를 들어 me = [1,2,0.4,....] 와 같이 표현하는 것이다.2가지 모델이 있다. 1) CBOW아래 그럼과 같은 모델로 표현할 수 있다.작동 방식은1. 입력에 대해서 one hot vector로 word들을 생성한다. (X(c-m)....X(c-1), X(c+1).....X(c+m))2. 다음 식을 통해서 벡터를 얻는다. V(c-m) = W(V*N) X(c-m)3. 얻은 벡터를 평균을 취한다. V' = (V(c-m)....+ V(c-1) + V(c+1).....+ V(c+m)) / 2m4. score vector를 얻는다. z = W'(N*V) V'5. softmax를 이용하여 확률을 구한다. y' = softmax(z)6. y'..
컴퓨터공학/ML
2017. 6. 14. 00:55