0
파이썬 매퍼 감속기 기능을 사용하여 토크 나이저를 적용하려고합니다. 다음 코드가 있지만 오류가 계속 발생합니다. 감속기는 목록에서 값을 출력하고 값을 벡터화기에 전달합니다.파이썬 매퍼 감속기에서 CountVectorizer 사용
ValueError : 빈 어휘; 아마도 문서에는 정지 단어가 포함되어 있습니다.
여러분이 제공 할 수있는 도움에 감사드립니다.
A
답변
0
CountVectorizer은 상태 정보입니다. 전체 데이터 세트에 동일한 인스턴스를 적용하여 어휘를 작성해야하므로 병렬 처리가 적용되지 않습니다.
대신 무국적 인 HashingVectorizer을 사용할 수 있습니다 (맞출 필요가 없으며 transform에 직접 전화 할 수 있음).