R-bigram 토큰 화 도구의 문서 용어 행렬이 작동하지 않습니다.

Question

저는 유니버스와 바이 그램이있는 코퍼스에 대해 2 개의 문서 - 용어 행렬을 만들려고합니다. 그러나 bigram 행렬은 현재 unigram 행렬과 동일하므로 왜 그럴지 잘 모르겠습니다.

코드 :

docs<-Corpus(DirSource("data", recursive=TRUE)) 

# Get the document term matrices 
BigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 2, max = 2)) 
dtm_unigram <- DocumentTermMatrix(docs, control = list(tokenize="words", 
    removePunctuation = TRUE, 
    stopwords = stopwords("english"), 
    stemming = TRUE)) 
dtm_bigram <- DocumentTermMatrix(docs, control = list(tokenize = BigramTokenizer, 
    removePunctuation = TRUE, 
    stopwords = stopwords("english"), 
    stemming = TRUE)) 

inspect(dtm_unigram) 
inspect(dtm_bigram) 

는 I는 N- 그램하여 시도의 (X, N = 2) N- 그램의 토크 나이저 등의 패키지이지만 그 중 하나가 작동되지 않는 발. bigram 토큰 화는 어떻게 수정합니까?

Answer 1

tokenizer 옵션이 Corpus (SimpleCorpus)와 작동하지 않는 것 같습니다. 대신 VCorpus를 사용하여 문제를 해결했습니다.