sparklyr

0열

2답변

안녕하세요 저는 다음의 스파크 데이터 프레임을 가지고 있습니다. 나는 행을 합하여 합을 원합니다. sparklyr에서 행 합계와 동일한 기능을 찾을 수 없습니다. 다음 쿼리를 시도했지만 열 값을 요약합니다. trans1M_20 %>% dplyr::select(trans1M_20_clicks) %>% dplyr::select(Small_

1열

1답변

spark_apply를 사용하여 NaN 값을 변경하는 방법은 무엇입니까?

sdf_pivot을 사용한 후 나는 0으로 NaN를 교체 할 필요가 내 분석을 진행하기 위해, 그래서 나는이 사용하는 시도, NaN의 값의 거대한 숫자 남겨졌다 : data <- data %>% spark_apply(function(e) ifelse(is.nan(e),0,e)) 을 그리고 이것은 gererates 다음과 같은 오류 : 나는 사람

1열

1답변

sparklyr에서 spark_apply를 사용하여 가중치가 적용된 임의의 법선 벡터를 여러 DF 열에 추가하십시오.

저는 sparklyr에 익숙하지 않아 스파크 df의 많은 수의 열에 다른 벡터로 가중치가 부여 된 임의의 법선 벡터를 추가하려고합니다. 이것은 mtcars로 시도한 예입니다. 나는 또한 https://spark.rstudio.com/의 예를 적용하려하지만 같은 오류가 발생했습니다 Error in file(con, "r") : cannot open the c

2열

1답변

벡터를 사용하여 dEFF 스파크 DF의 여러 열을 수정할 수 있습니까?

저는 스파크로 일하는 새로운 사람입니다. 스파크 데이터 프레임의 많은 수의 열에 벡터의 값을 곱하고 싶습니다. library(dplyr) library(rlang) library(sparklyr) sc1 <- spark_connect(master = "local") mtcars_sp = sdf_copy_to(sc1, mtcars, overwrit

2열

1답변

mutate_each를 사용하여 스파크리어의 변수를 크기 조절하고 가운데에 맞 춥니 다

sparklyr의 클러스터링 문제를 해결하기 위해 노력하고 있습니다. 훈련 세트의 변수 중 많은 부분이 서로 다른 척도로 측정되므로 순서에 따라 다릅니다. 모범 사례에 따라 데이터를 확장하고 가운데에 맞추려고합니다. X를 임의의 변수, μ = 평균 및 σ = 표준 편차로 표현하는 가장 일반적인 표현식 (X - μ)/σ가 여러 가지 있습니다. 나는 X = 무

0열

1답변

r sparklyr spark_apply 오류 : org.apache.spark.sql.AnalysisException : 참조 'id'가 모호합니다.

스파크 클러스터에서 spark_apply를 사용하여 두 열로 그룹화 된 데이터에서 kmeans를 계산하려고합니다. 데이터는 하이브에서 쿼리 내가 spark_apply에 전달하고이 기능은 다음과 같습니다이 > samplog1 # Source: lazy query [?? x 6] # Database: spark_connection i

3열

1답변

Sparklyr는 : 순진 베이 즈 모델에서 조건부 확률을 추출

나는 sparklyr의 나이브 베이 즈 모델 실행은 다음과 같이 ml_naive_bayes을 사용하여이 : 나는 모델을 인쇄 할 경우 library(sparklyr) library(dplyr) sc <- spark_connect(master = 'local') d <- structure(list(response = c(0L, 0L, 1L, 1L, 1

0열

1답변

는 rsparkling, 물 실행, sparklyr

나는 H2O (rsparkling) 2.2, master=yarn 스파크 실행하는 데 노력 해왔다하지만 h2o_context(sc)을 실행할 때 나는 예외를 얻을 : Error: java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.getUserJars(Lorg/apache/spark/SparkConf;Z)

1열

1답변

RStudio-sparklyr을 사용하여 IntelliJ에서 제공하는 로컬 Spark에 연결하십시오.

안녕하세요, 어쩌면 어리석은 질문 일지 모르지만 RStudio의 Spark에서 임시 테이블에 액세스하려고합니다. Spark 클러스터가 없으며 모든 것을 로컬 PC에서만 실행합니다. 내가 IntelliJ를 통해 스파크를 시작하면 , 인스턴스가 잘 실행 : 17/11/11 10:11:33 INFO Utils: Successfully started service

1열

1답변

SparkR에서 UDF가 얼마나 작동합니까?

이의 내가 입력으로이 개 수치를 취하는 R 함수를 정의한다고 가정 해 봅시다 : effectifTouche <- function(audience, extrapolated){ TM = audience/1000000 VE= extrapolated/100 TME = TM * VE nbVis = TME/1000000.1 return (nbVis) }