sparkr

0열

1답변

나는 수십 개의 열이있는 SparkDataFrame을 가지고 있으며, "time"이라는 단어를 가진 것들만 선택하고 싶습니다. 대신 수동으로 컬럼의 모든 이름을 작성하는 데이 같은 일을 : df_selection <- SparkR::select(df, like('^time.*?')) 이 있습니까 : df_selection <- SparkR::select

1열

1답변

SparkR에서 grep 사용 중 오류

내 Spark DataFrame의 하위 집합에 문제가 있습니다. 은 내가 DataFrame 문자열로 포맷 ITEM_PRODUTO라는 열이 포함 nfe를 불렀다. 이 DataFrame을 항목 열에 "AREIA"라는 단어가 포함되는지 여부에 따라 부분 화하고 싶습니다. 나는 쉽게 정확한 구문을 기반으로 데이터를 부분 집합 할 수 nfe.subset1 <- su

2열

1답변

SparkR (Spark 2.1.0 또는 2.2.0)에 MaxAbsScaler가 있습니까?

spark에는 scala, java 및 python의 StandardScaler, MinMaxScaler, MaxAbsScaler가 있습니다. Spark에는 R (SparkR)과 같은 메소드가 있습니까?

1열

1답변

SparkR에서 UDF가 얼마나 작동합니까?

이의 내가 입력으로이 개 수치를 취하는 R 함수를 정의한다고 가정 해 봅시다 : effectifTouche <- function(audience, extrapolated){ TM = audience/1000000 VE= extrapolated/100 TME = TM * VE nbVis = TME/1000000.1 return (nbVis) }

5열

1답변

SparkR을 사용하여 R 모델 실행

미리 감사드립니다. 나는 ML에 초보자입니다. 저는 (로컬에서 R studio를 사용하는) R 모델을 개발했으며 R Studio가 설치된 hadoop 클러스터에 배포하려고합니다. SparkR을 사용하여 고성능 컴퓨팅을 활용하고 싶습니다. 여기서는 SparkR의 역할에 대해 알고 싶습니다. SparkR을 사용하면 R 모델이 Hadoop 클러스터의 Spark

0열

1답변

SparkR 데이터 프레임을 데이터 프레임 목록으로 분할

sparkR을 처음 사용하고 sparkR 데이터 프레임을 열 기반 데이터 프레임 목록으로 분할하려고합니다. 데이터에는 Sls_D(date), mdse_item_i(item id), co_loc_i(location id), traffic_ti_8_00, traffic_ti_9_00, traffic_ti_10_00, traffic_ti_11_00의 10 억 개

0열

1답변

SparkR 평균 : 왜 머리를 사용해야합니까 (선택 (df, 평균 (df $ 연령))

내가해야 할 문서에 다음을 찾았습니다. mean(df$c) 평균을 계산할 때 작동하지 않으며 결과는 Column avg(age) meanAge=head(select(df, mean(df$age)) 을 그리고 그것은 작동!하지만 어떻게 특히, 헤드 명령어가를 반환하려는 이유/모르겠어요 값) 내가 databricks에서 발견 , 어떻게해야합니까 단일 값이

0열

1답변

SparkR 데이터 프레임을 로컬 R 데이터 테이블로 변환하는 방법은 무엇입니까?

로컬 R 스크립트를 sparkR로 변경하려고합니다. 입력은 하이브 테이블이고 나는 다음과 같은 코드를 사용하여 테이블을 읽어 >sparkR.session() >results <- sql("SELECT * FROM temp.temp_ceshi limit 3") >head(results) >typeof(results) [1] "S4" 그리고 지역

0열

1답변

SparkR에서 AND 및 OR을 사용하여 논리 열 표현식을 작성하려면 어떻게해야합니까?

다른 여러 열에 대한 논리적 기준에 따라 SparkR (스파크 버전 2.1.1) 데이터 세트에 열을 추가해야합니다. 그러나 확실한 해결책 (& & 또는 || 사용)이 작동하지 않으면 "x '유형이 x & & y'"오류로 잘못되었습니다. 예를 들어, 내장 사용 mtcars 데이터 세트 : > dcars = as.DataFrame(mtcars) > dcars

1열

1답변

Rscript 대 spark-submit을 사용하여 R 스크립트 실행

Rscript 대 spark-submit을 사용하여 R 파일을 실행하는 것의 차이점을 이해할 수 없습니다. 파일에서 나는 클러스터에 연결하는 옵션을 전달하므로 spark-submit 사용의 모험이 무엇인지 알지 못합니다. sparkR.session(master = "spark://...", appName = "test", sparkConfig = list(