sparkr

0열

2답변

SparkR을 사용하고 있습니다. 이제는 평균, 최대 등의 통계 함수 사용에 문제가 있습니다. 첫째, 나는 같은 JSON 파일 읽기 : 그런 다음 > a <- read.df(sqlContext, "/home/fengchen/mine/mydata/try.json", "json") 을하는 대신 일반 R의 dataframe의 불꽃에 dataframe입니다.

0열

1답변

MySQL 데이터베이스에서 SparkR을 사용하여 Apache Spark에 어떻게 연결할 수 있습니까?

나는 Spark 2.0과 SparkR 라이브러리를 만들고있다. SparkR에서 다음 작업을 수행하는 방법에 대한 샘플 코드를 얻고 싶습니다. SparkR을 사용하여 MySQL 또는 다른 SQL 데이터베이스에 연결하십시오. SELECT, UPDATE 등과 같은 SQL 쿼리를 작성하여 해당 데이터베이스의 테이블을 수정하십시오. 필자는 R을 사용하여 알고 있습니

0열

1답변

하이브에 SparkR 데이터 프레임로드

하이브에로드 할 SparkR에서 만든 DataFrame을로드해야합니다. #created a dataframe df_test df_test <- createDataFrame(sqlContext, data.frame(mon = c(1,2,3,4,5), year = c(2011,2012,2013,2014,2015))) #initialized the Hive

2열

2답변

SparkDataFrame의 스키마를 편집하는 방법은 무엇입니까?

dapply()를 사용하여 일부 함수를 적용하고 새 열을 추가 할 SparkDataFrame이 있습니다. sparkR에서의 dapply는 호출 된 함수의 출력과 일치하는 스키마를 기대합니다. 예를 들어 , #Creating SparkDataFrame sdf<-as.DataFrame(iris) #Initiating Schema schm<-struc

1열

1답변

SparkR의 RandomForest 알고리즘?

R에서 randomForest 알고리즘을 구현했으며 Apache Spark 2.0.0에서 sparkR을 사용하여 동일한 알고리즘을 구현하려고했습니다. 는하지만 https://www.codementor.io/spark/tutorial/linear-models-apache-spark-1-5-uses-present-limitations sparkR 만 선형 모델

3열

1답변

Zeppelin R 인터프리터가 아무 것도하지 못합니다

Zeppelin 0.6.1을 실행 중이며 sparkR 인터프리터가 아무 것도하지 못합니다. 셀 실행 상태에 대해 ERROR (오류)를 표시하지만 어떤 오류인지는 알 수 없습니다. 바이너리 패키지를 모든 인터프리터 zeppelin-0.6.1-bin-all.tgz와 함께 사용했습니다. 많은 일을 시도했지만 무슨 일이 일어나고 있는지 전혀 모른다. 누구나 Zep

2열

1답변

spark 1.6 및 Zeppelin이있는 amazon EMR에서 R 실행 0.5.6

현재 EMR에서 실행중인 Zeppelin에서 실행되도록 R 인터프리터를 설정하려고합니다. Zeppelin은 완벽하게 작동하며 Scala와 Python으로 스크립트를 작성할 수 있습니다. % r, % sparkR 또는 % knitr을 사용할 때 "r interpreter not found"가 표시됩니다. emr-4.7.2 클러스터에서 실행중인 응용 프로그램은

2열

1답변

큰 로컬 데이터 프레임을 SparkR 데이터 프레임으로 변환하는 최선의 방법은 무엇입니까?

대형 로컬 데이터 프레임을 SparkR 데이터 프레임으로 효율적으로 변환하려면 어떻게해야합니까? 내 로컬 dev 컴퓨터에서 ~ 650MB 로컬 데이터 프레임이 SparkR 데이터 프레임으로 변환하려고 할 때 사용 가능한 메모리를 빠르게 초과하고 40GB RAM이있는 dev 컴퓨터가 있습니다. library(reshape2) years <- sample(

2열

1답변

스파크 2.0.0 - 마루는 빈 테이블

난 그냥 Spark 2.0.0 업데이트를 읽고 나는 SparkR 내 마루 파일을 읽을 수 : library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"))) sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.m

4열

1답변

SparkR Java 백엔드의 오류 로그를 디버깅하거나 가져올 수있는 방법은 무엇입니까?

Spark을 사용하여 glm을 조정할 때 No status is returned. Java SparkR backend might have failed. 오류가 발생합니다. 작업은 실제로 Spark 웹 UI를 기반으로 완료까지 실행되는 것으로 보이지만 모델 적합 중에 (일관된 위치로 보이지 않음) SparkR은 위의 오류 메시지를 반환 한 다음 R REPL로