rvest를 사용하여 IMDB에서 영화 리뷰 스크랩

Question

IMDB에서 영화의 리뷰를 추출했으나 별도의 리뷰에 빈 리뷰가 많이 있습니다. 그것은 구조화되지 않았으며보기가 매우 어렵습니다. 각각의 기능을 개별적으로 적용한 다음 다른 기능의 텍스트 마이닝을 위해 1로 저장해야합니다.

어떻게 구조를 정리하고 (한 번에 하나씩) 액세스 할 수 있습니까? 또한이를 결합하고 함께 저장하는 방법은 무엇입니까?

여기 리뷰를

ID <- 1490017 
URL <- paste0("http://www.imdb.com/title/", ID, "/reviews?filter=prolific") 
MOVIE_URL <- read_html(URL) 
ex_review <- MOVIE_URL %>% 
html_nodes("p") %>% 
html_text() 

Answer 1

난 당신이 DOM을 탐색 할 때 더 구체적인 것을 제안을 긁어 내 코드입니다. 각 리뷰에 함수를 적용하고, 병합,

ID <- 1490017 
URL <- paste0("http://www.imdb.com/title/tt", ID, "/reviews?filter=prolific") 
MOVIE_URL <- read_html(URL) 
ex_review <- MOVIE_URL %>% html_nodes("#pagecontent") %>% 
    html_nodes("div+ p") %>% 
    html_text() 

을 그리고 여기에 줄 바꿈을 제거하는 방법입니다 : 예를 들어,이 코드는 당신이 아마도 긁어보고되지 않은 기타 정보의 검토 및 없음을 제공합니다 한 단락으로 리뷰 (또한 합치 벡터 요소에이 post 줄 바꿈 교체에이 post 참조)

ex_review <- gsub("[\r\n]", " ", ex_review) # replace line breaks 
sapply(ex_review, function(x){}) # apply function to each review 
ex_review <- paste(ex_review, collapse = "") # concatenate reviews into one paragraph 
write(ex_review, "test.txt") 

난 당신이 또한 URL에서 "TT를"없어진 것 같아요.