는 spark_read_csv를 사용하여 불꽃으로 CSV를 읽을 수 없습니다()

Question

내가 잘 read.csv()를 사용하여 R에 .CSV을 읽을 수 R.에 csv 파일을 읽을 수 sparklyr를 사용하려고 해요,하지만 난 때 spark_read_csv()에게 그것을 사용하는 고장. 나는 다음과 같은 오류가 발생이 코드를 실행하려고 할 때

accidents <- spark_read_csv(sc, name = 'accidents', path = '/home/rstudio/R/Shiny/accident_all.csv') 

그러나 :

Error in as.hexmode(xx) : 'x' cannot be coerced to class "hexmode"

그 오류를 인터넷 검색으로 많이 발견하지 않았습니다. 누구가 여기에서 무슨 일이 일어나고 있는지에 대해 밝힐 수 있습니까?

Answer 1

예, 로컬 .csv은 spark_read_csv()을 사용하여 스파크 데이터 프레임에서 쉽게 읽을 수 있습니다. Documents 디렉토리에 .csv 파일이 있고 다음 코드 조각을 사용하여 읽었습니다. 나는 file://라는 접두사를 사용할 필요가 없다.

Sys.setenv(SPARK_HOME = "C:/Spark/spark-2.0.1-bin-hadoop2.7/") 
library(SparkR, lib.loc = "C:/Spark/spark-2.0.1-bin-hadoop2.7/R/lib") 
library(sparklyr) 
library(dplyr) 
library(data.table) 
library(dtplyr) 

sc <- spark_connect(master = "local", spark_home = "C:/Spark/spark-2.0.1-bin-hadoop2.7/", version = "2.0.1") 

Credit_tbl <- spark_read_csv(sc, name = "credit_data", path = "C:/Users/USER_NAME/Documents/Credit.csv", header = TRUE, delimiter = ",") 

당신은 단지 개체 이름 Credit_tbl를 호출하여 dataframe을 볼 수 아래 코드 조각입니다.