단락 벡터 모델링에서 문단은 대상 단어를 예측하기위한 문맥 단어와 함께 단락을 메모리 정보로 참조합니다. 왜 단락이 목표 단어를 예측하는 데 유용한 정보인지 알 수 없습니다. 단락에 목표 단어가 포함되어야합니까? 1단락 벡터의 개념이 의미가있는 이유는 무엇입니까?
아무에게도 어떻게 할 수 있습니까? D가 뭐야? 단락 ID도 단락 단락 벡터입니까?
예를 들어 문단 A, B, C 및 단어 a, b, c, d, e, f, g가 있습니다. 단락 B는 abcdefg의 순서입니다. 문서가 A + B + C 이 문서를 교육하고 단어 d를 예측하고 싶습니다. 입력 단락은 무엇입니까? 윈도우 크기가 7 인 경우 입력이 a, b, c, e, f, g의 핫 워드 벡터이어야 함을 알고 있습니다.
게시 한 이미지는 Quoc의 문장 및 문서의 분산 표현입니다. Le와 Tomas Mikolov. 단락 벡터에 대한 자세한 설명은 2.2 절에서 찾을 수 있습니다.
우리는 일반적으로 단어의 벡터를 특정 단어의 이웃으로부터 가져옵니다. 단락 삽입을 사용할 때 우리가 처리하는 각 교육 샘플에 대해 한 단어 더 추가하는 것으로 생각할 수 있습니다. 문맥으로 선택된 몇 단어 만이 아니라 전체 단락을 설명하는 더 많은 글로벌 단어와 같습니다.
단락의 표현은 단어 표현과 동일합니다. 코퍼스가 처리되는 동안 단락 벡터와 함께 사용할 단락을 인코딩하고 단락 자체를 훈련합니다. 훈련 도중 당신은 주어진 단락의 모든 상황에 삽입 된 숨겨진 단어로 다시 생각할 수 있습니다.
숨겨진 레이어에서 값을 계산할 때 추가 또는 concetating을 사용할 수 있습니다. 제가 언급 한 논문은 concetating을 사용하여 결과 벡터가 단어 단락으로부터 계산 된 1/2 단락 벡터와 절반 벡터입니다.
답변 해 주셔서 감사합니다. –
단락에 예측하고 싶은 단어가 포함되어 있습니까? –
이 백서의 단락 벡터는 실제로 어떤 단어가 포함되어 있는지 고려하지 않습니다. 방금 n 번째 단락을 가져다가 무작위로 벡터에 할당 한 다음이 벡터를 학습하십시오. 그래서 당신의 경우 3 개의 문단 벡터 A, B, C를 가지게 될 것이고 훈련의 모든 N-gram 표본에 대해 N-gram이 발생한 문단 벡터를 사용할 것입니다. – piko