R : 웹 페이지 스크래핑시 누락 된 값

Question

웹 페이지에서 데이터를 스크랩하면 일부 요소/값이 반환되지 않습니다.

특히, 나는 rvest 패키지를 사용하여 스크랩합니다.

원하는 정보가 포함 된 웹 페이지는 https://azure.microsoft.com/en-us/pricing/details/virtual-machines/windows/입니다. 그러나 데이터를 스크랩하면 가격이있는 열은 "$ -"만 반환합니다.

샘플 코드 : 첫째 안양의

library(rvest) 

webpage <- read_html("https://azure.microsoft.com/en-us/pricing/details/virtual-machines/windows/") 
tbls <- html_nodes(webpage, "table") 

tbls_ls <- webpage %>% 
    html_nodes("table") %>% 
    .[1:(length(tbls)-2)] %>% 
    html_table() 

출력 :

> List of 22 $ :'data.frame': 7 obs. of 6 variables: ..$ Instance 
> : chr [1:7] "B1L" "B1S" "B2S" "B1MS" ... ..$ Cores     
> : int [1:7] 1 1 2 1 2 4 8 ..$ RAM         
> : chr [1:7] "0.50 GiB" "1.00 GiB" "4.00 GiB" "2.00 GiB" ... ..$ 
> Temporary Storage       : chr [1:7] "1 GiB" "2 
> GiB" "8 GiB" "4 GiB" ... ..$ Price         
> : chr [1:7] "$-" "$-" "$-" "$-" ... ..$ Prices with Azure Hybrid 
> Benefit1 (% savings): chr [1:7] "$-" "$-" "$-" "$-" ... 

나는이 특정 요소의 전체 값을 얻기 위해 무엇을 할 수 있는가?

Answer 1

필터와 상관없이 가격 데이터가 하나입니다. 그래서 당신은 그 속성 값을 가져 와서 json을 파싱 할 필요가 있습니다.

library(rvest) 

webpage <- read_html("https://azure.microsoft.com/en-us/pricing/details/virtual-machines/windows/") 
tbls <- html_nodes(webpage, "table") 

webpage %>% 
    html_nodes("table") %>% 
    .[1:(length(tbls)-2)] %>% 
    html_table() 


ss <- webpage %>% html_nodes("table span.price-data ") %>% xml_attr('data-amount') 

lapply(ss,function(x){data.frame(jsonlite::fromJSON(x))}) 

샘플 출력 :

[[176]] 
    regional.asia.pacific.southeast regional.australia.east regional.canada.central regional.canada.east 
1       1.496     1.496     1.376    1.376 
    regional.europe.west regional.japan.east regional.united.kingdom.south regional.us.east.2 regional.usgov.virginia 
1    1.488    1.464       1.448    1.373     1.504 
    regional.us.west regional.us.west.2 
1   1.376    1.248 

[[177]] 
    regional.asia.pacific.southeast regional.australia.east regional.canada.central regional.canada.east 
1       4.464     4.464     4.224    4.224 
    regional.europe.west regional.japan.east regional.united.kingdom.south regional.us.east.2 regional.usgov.virginia 
1    4.448     4.4       4.368    4.365     4.48 
    regional.us.west regional.us.west.2 
1   4.224    3.968 

당신은 특정 값과 일치하고이에서 가격을해야합니다.