0
많은 양의 데이터 (1 천만 개 줄)에서 문자 화를 구현해야합니다. 파이썬 nltk 라이브러리는 많은 양의 데이터에서 매우 느립니다. 다른 대안이 있습니까?대용량 데이터에서 문자 화를 구현하는 방법은 무엇입니까?
A
답변
0
clearNLP 또는 stanford-coreNLP를 사용하십시오. clearNLP (http://clear.colorado.edu/compsem/)는 상당히 빠릅니다.
이 플랫폼을 비교하기위한 벤치 마크가 있습니까? 또한 clearNLP를위한 파이썬 래퍼가 있습니까? –
스탠포드 coreNLP (http://arxiv.org/pdf/1308.0661v1.pdf, http://www.oegai.at/konvens2012/proceedings/60_rodriquez12w/60_rodriquez12w.pdf)는 최고의 NER 태그 지정자로서 clearNLP에는 가장 빠른 파서. 둘 다 Java로되어 있으며 clearNLP는 UIMA (Jeopardy의 속도와 정확성에서 인간을 이길 수있는 IBM watson에서 사용하는 :)를 기반으로 한 clearTK 종단 간 시스템을 가지고 있습니다. 따라서 clearNLP/clearTK를 사용하는 경우 스탠포드 coreNLP와 같은 NLP의 다른 최상의 도구를 호출 할 수 있습니다. 주어진 nltk에 대해서는 python이 아닙니다. –