sparklyr의 Spark Data Frame에 ORC 파일을 읽을 수 있습니까?

Question

나는 sparklyr는 다음과 같은 파일 읽기 방법이 있는지 알고

• spark_read_csv
• spark_read_parquet
• spark_read_json

무엇 오크 파일을 읽을 어떻습니까? 이 라이브러리가 아직 지원합니까?

나는 read.orc을 SparkR 또는 this solution에 사용할 수 있지만 sparklyr에 코드를 보관하고 싶습니다.

Answer 1

당신은 내가 Transfer data from database to Spark using sparklyr에 내 대답에 설명 된 것과 동일한 방법으로 낮은 수준의 스파크 API를 사용할 수 있습니다 name 현재 sparklyr 버전에서는 테이블

를 식별하는 데 사용되는 임의의 이름입니다

library(dplyr) 
library(sparklyr) 

sc <- spark_connect(...) 

spark_session(sc) %>% 
    invoke("read") %>% 
    invoke("format", "orc") %>% 
    invoke("load", path) %>% 
    invoke("createOrReplaceTempView", name) 

df <- tbl(sc, name) 

위에 대체 할 수 있어야합니다 spark_read_source :

spark_read_source(sc, name, source = "orc", options = list(path = path))