장갑 삽입시 토큰 및 vocab은 무엇을 의미합니까?

Question

글러브 삽입을 사용 중입니다. 삽입시 tokens 및 vocab에 대해 매우 혼란 스럽습니다. 일이 같은 :

Common Crawl (840B tokens, 2.2M vocab, cased, 300d vectors, 2.03 GB download) 

무엇 tokens 및 vocab 평균 각각합니까? 그 차이점은 무엇입니까?

Answer 1

NLP 토큰은 귀하의 코퍼스에있는 "단어"의 총 개수를 나타냅니다. 정의가 작업에 따라 다르기 때문에 단어를 따옴표로 묶습니다. vocab은 고유 한 "단어"의 개수이며,이 때문에 vocab 토큰이 <입니다.