어떻게 내가이 논문 <a href="http://cs.stanford.edu/~quocle/paragraph_vector.pdf">http://cs.stanford.edu/~quocle/paragraph_vector.pdf</a></p> <p>thorugh려고하고 doc2vec 단락 벡터

Question

을 계산 gensim 수행하고 그것은

"Theparagraph 벡터와 단어 벡터 맥락에서 다음 단어를 예측하는 평균 또는 을 연결됩니다한다고 실험에서는 벡터를 결합하는 방법으로 연결을 사용합니다. "

어떻게 연결 또는 평균화가 작동합니까? (제 1 단어 1 및 word2 포함될 경우)

예 : 이미지에서도

word1 vector =[0.1,0.2,0.3] 
word2 vector =[0.4,0.5,0.6] 

concat method 
does paragraph vector = [0.1+0.4,0.2+0.5,0.3+0.6] ? 

Average method 
does paragraph vector = [(0.1+0.4)/2,(0.2+0.5)/2,(0.3+0.6)/2] ? 

는 :

단락 토큰으로 간주 할 수

는 것을 주장한다 다른 단어. 현재 문맥에서 누락 된 것을 기억하는 메모리로 작동하거나 단락의 주제를 으로 기억합니다. 이러한 이유로 우리는 종종이 모델을 단락 벡터 (PV-DM)의 분산 메모리 모델 이라고 부릅니다.

단락 토큰이 on과 동일한 단락 벡터입니까?

Answer 1

어떻게 연결 또는 평균 작동합니까?

당신은 평균을 위해 옳았습니다. 연결은 [0.1,0.2,0.3,0.4,0.5,0.6]입니다.

단락 토큰이 on과 동일한 단락 벡터입니까?

"단락 토큰"은 "단락 벡터"라는 벡터에 매핑됩니다. 이것은 토큰 "on"과 다르며 단어 vector와는 토큰 "on"이 매핑 된 것과 다릅니다.

Answer 2

텍스트 범위에 대한 단순한 (때로는 유용한) 벡터는 텍스트 단어의 벡터의 합 또는 평균입니다. 그러나 이 아니며은 '단락 벡터'논문의 '단락 벡터'입니다.

대신 단락 벡터는 단어 벡터와 유사하게 훈련 된 또 다른 벡터로 단어 예측에 도움이되도록 조정됩니다. 이들 벡터는 워드 모델과 결합 (또는 인터리빙)되어 예측 모델에 공급된다. 즉, 평균화 (DM 모드에서)에는 단어 벡터와 함께 PV가 포함됩니다. 단어 벡터로부터 PV를 구성하지 않습니다.

다이어그램에서은 인접한 단어와 전체 예제의 PV (비공식적으로 특수한 의사 단어로 생각할 수 있음)의 조합으로 해당 다이어그램에서 예상되는 대상 단어입니다. 전체 텍스트 예제, 실제 단어의 모든 슬라이딩 '창'에 참여합니다.