word2vec CNTK에서 CBOW 리더 구현

음 샘플링을 사용하여 CBOW word2vec를 구현하고 싶습니다. 나는 CNTK의 문서를 읽었지만 문장을 입력으로 받아 들일 수있는 독자를 찾을 수 없었습니다. 2*k + 1 단어 (현재 단어와 현재 단어의 왼쪽과 오른쪽에있는 k 컨텍스트 단어). 또한, 파이썬에서 이것을 구현하고 싶습니다.word2vec CNTK에서 CBOW 리더 구현

파이썬에서 사용자 정의 cntk 텍스트 리더를 만드는 가이드가 있습니까?

출처

2017-01-24 Ashutosh Baheti

다음은 word2vec의 커뮤니티에서 제공 한 CNTK 모델입니다. https://github.com/jatinarora2702/CNTK-Word2Vec

여기에서 일부 코드를 활용하여 독자를 모델링 할 수 있습니다. 툴킷에 다시 제공하는 것은 대단히 환영합니다.

출처

2017-01-24 16:41:38

이 구현에는 여러 가지 문제가 있습니다. 첫째, 모든 문장을 단일 배열로 읽습니다. 두 번째로, 나는 입력 단어에 대한 하나의 핫 벡터 인코딩을 생성하고 거대한 어휘의 경우 비참하게 실패 할 전체 어휘에 softmax를 출력합니다. 또한 CBOW 구현이 아닙니다. 그러나 나는 독자를 창조하기위한 힌트를 얻었다. 감사! –

감사합니다. CBOW 구현에 기여하고자한다면 기꺼이 받아 들일 것입니다. –

답변

관련 문제