sparklyr

0열

1답변

doplyr mutate support runif

mutate를 사용하여 열로 정규 분포 난수를 생성하고 싶습니다. runif()을 사용해 보았지만 대규모 데이터에 오류가 발생합니다. extract_grp <- extract_grp %>% mutate(rand = runif(sdf_nrow(extract_grp))) glimpse(extract_grp) 점점 오전 오류 : Error: org.apa

r apache-spark dplyr sparklyr 2017-10-04

---

1열

1답변

Sparklyr 사용 case_when는

Sparklyr 불평 : test <- copy_to(sc, tibble(column = c(1,2,3,4))) group1_cols <- c(1,2) group2_cols <- c(3,4) test %>% mutate(group = case_when( column %in% group1_cols ~ 'group 1',

dplyr sparklyr dbplyr 2017-10-10

---

5열

1답변

Sparklyr 무시 라인 경계

내가 가진 sparklyr에 2기가바이트 ~ (5mi 라인)의 .CSV을 읽으려고 해요 : bigcsvspark <- spark_read_csv(sc, "bigtxt", "path", delimiter = "!", infer_schema = FALSE, memory = TRUE,

r csv sparklyr 2017-10-13

---

1열

1답변

더 많은 코어를 사용 스파크 (Sparklyr) 오류가 나는 로컬 모드에서 Sparklyr에 다음과 같은 구성을 사용하고

를 엽니이 잘 작동 conf <- spark_config() conf$`sparklyr.cores.local` <- 28 conf$`sparklyr.shell.driver-memory` <- "1000G" conf$spark.memory.fraction <- 0.9 sc <- spark_connect(master = "local",

azure apache-spark sparklyr 2017-10-19

---

1열

1답변

sparklyr : spark_apply 함수가 클러스터 모드에서 작동하지 않습니다.

다른 행 수가있는 두 개의 데이터 프레임을 결합했습니다. qpcR 라이브러리로 cbind.na 기능을 사용하여 두 개의 데이터 프레임을 결합합니다. 그것은 내 로컬 컴퓨터에서 spark_apply 기능을 사용하는 스파크 릴러의 결과를 제대로 보여주었습니다. 그러나 클러스터 모드에서는 아래와 같이 오류가 표시됩니다. 참고 : 단일 데이터 프레임은 클러스터와

r apache-spark spark-dataframe apache-spark-mllib sparklyr 2017-10-20

---

0열

1답변

SparklyR에서 SQL Server에 테이블로드

2017 년 10 월을 기준으로 Sparklyr Spark Data Frames를 SQL Server에 쓸 수 있습니까? > DBI::dbWriteTable(con, "DZ_test", for_test) Error in (function (classes, fdef, mtable) : unable to find an inherited method

sql-server r apache-spark dplyr sparklyr 2017-10-23

---

0열

1답변

sparklyr을 사용하여 DataFrames의 메모리 사용을 표시하는 방법은 무엇입니까?

로컬 R 환경에있는 객체의 메모리 사용량을 나열한 code snippet과 비슷하게 Spark 연결에서 사용할 수있는 DataFrames의 메모리를 볼 수있는 유사한 명령이 있습니까? 예 : src_tbls(sc)과 비슷한 점은 현재 모든 DataFrames 만 나열하지만 메모리 사용은 나열하지 않습니다.

r apache-spark sparklyr 2017-10-26

---

2열

1답변

sparklyr의 여러 하위 폴더에서 파일 읽기

Spark 2.0에서 여러 파일 경로를 단일로드로 결합 할 수 있습니다 (예 : How to import multiple csv files in a single load? 참조). 어떻게 이것을 sparklyr의 spark-read-csv로 수행 할 수 있습니까?

r sparklyr 2017-10-27

---

0열

1답변

Spark (sparklyr) 독립 실행 형 모드를 사용하여 마루를 쓸 수 없습니다. DeprecatedRawLocalFileStatus

독립 실행 형 모드에서 spark를 사용하고 sparklyr을 사용하여 spark에 액세스하고 있습니다. temp_parquet <- tempfile(fileext = ".parquet") temp_parquet1 <- tempfile(fileext = ".parquet") spark_write_parquet(train, temp_parquet)

apache-spark sparklyr 2017-10-31

---

0열

1답변

opencpu는 시간 소모적 인 R 함수에 대한 비동기 호출을 지원합니까?

나는 최근에 스파클러 가능성을 이용하는 R 패키지를 만들었습니다. opencpu에서 패키지 main 함수를 호출하고 모든 데이터를 스트림으로 갖는 url을 인수로 전달합니다. 데이터 스트림은 스파크를 통해 분산 된 방식으로 성공적으로 분석되고 몇 가지 결과를 제공합니다. 내 유일한 문제는 실행 부분을 완료하는 데 많은 시간이 필요하다는 것입니다. 나는 op

r asynchronous sparklyr opencpu 2017-11-02

---