sparklyr

0열

1답변

spark 세션을 사용하여 Cassandra 테이블을로드 할 수 없습니다. sparklyr 및 R

Spark 2.1.0을 사용 중이고 Cassandra 클러스터를 연결하려고합니다. 나는 최신 스파크 릴을 사용했다. 나는 기본 아래와 같이 기본 구성을 설정 한 : # local-only configuration sparklyr.cores.local: !expr parallel::detectCores() spark.sql.shuffle.p

3열

1답변

Sparklyr copy_to fail

Sparklyr 라이브러리를 사용하여 R에서 HDFS로 데이터를 읽고 쓰고 있습니다. 데이터 읽기는 예상대로 작동하지만 글을 쓰면 문제가 발생합니다. spark_write_csv 함수를 사용하려면 R data.frames를 Spark 객체로 변환해야합니다. sparklyr sdf_copy_to 함수를 사용합니다 (copy_to로 시도한 경우). 그러나, 나

2열

1답변

sparklyr을 통해 cassandra 테이블을 spark로 가져 오기 - 일부 열만 선택할 수 있습니까?

커다란 카산드라 테이블을 스파크로 가져 오기 위해 sparklyr과 함께 작업 해 왔으며이를 R로 등록하고 dplyr 작업을 수행했습니다. 내가 성공적으로 다음과 같습니다 코드와 카산드라 테이블을 가져왔다 : # import cassandra table into spark cass_df <- sparklyr:::spark_data_read_generic

7열

1답변

큰 데이터 세트의 캐시에서 sparkly & RStudio를 통해 "GC 오버 헤드 한도 초과"

저는 Big Data 기술에 익숙하지 않습니다.하지만 지금까지 RStudio에서 스파크 릴을 설정할 수있었습니다 독립 실행 형 Spark 클러스터에 연결합니다. 데이터는 Cassandra에 저장되며, 큰 데이터 세트를 Spark 메모리 (캐시)에 가져 와서 더 많은 분석을 수행 할 수 있습니다. 그러나 클러스터는 크기가 큰 데이터 세트를 처리하기에 충분한

0열

3답변

마스터 URL 'spark.bluemix.net'을 구문 분석하지 못했습니다.

데스크톱 컴퓨터에서 실행중인 RStudio의 Bluemix에서 실행되는 서비스로 IBM의 스파크에 연결하려고합니다. install.packages("sparklyr") library(sparklyr) spark_install(version = "1.6.2") # installed spark to '~/Library/Caches/spark/spark-1

1열

1답변

SparklyR sppper 용 래퍼 SQL : sqlContext.sql

SparklyR 용 SQL 함수에 대한 래퍼를 작성하려고합니다. 나는 다음과 같은 기능을 만들었습니다 sqlfunction <- function(sc, block) { spark_context(sc) %>% invoke("sqlContext.sql", block) } 가 그럼 난 사용하여 전화를 다음 newsqlData <- sqlfuncti

1열

1답변

무엇 열 데이터 형식을 기반으로 스파크 데이터 프레임 (sparklyr) 하위 집합에 가장 좋은 방법입니다

나는 더미 변수로 열 무리를 변환 해요. 데이터 프레임에서 원래의 범주 형 변수를 제거하려고합니다. 나는 스파크 릴에서 어떻게하는지 알아 내려고 애 쓰고있다. dplyr에서는 간단하지만 darker 기능은 sparklyr에서 작동하지 않습니다. ###create dummy data to figure out how model matrix formulas wo

2열

1답변

권한 거부 - \ TMP \ 하이브 sparklyr

내가 기능 copy_to 를 사용하여 2.0.1 스파크하기 위해 R의 dataframe을 복사하려고하지만, 그것이 말하는 루트 스크래치 디렉토리 : HDFS의/tmp/하이브해야 쓰기 가능해야한다. 현재 권한은 다음과 같습니다 내가 권한을 변경 winutils.exe을 실행하지만, 아직도 내가 권한 같은 예외를 얻을 RW-RW-rw-을. %HADOOP_HOM

1열

1답변

Spark DataFrame (RDD)의 메타 데이터

"sparklyr"및 "SparkR"을 통해 R에서 벤치마킹하는 스파크입니다. 다른 Testdata에서 다른 기능을 테스트합니다. 열의 0과 열의 수를 계산하는 두 가지 특별한 경우에 데이터가 아무리 큰 경우에도 결과는 1 초도 안된다는 것을 깨달았습니다. 다른 모든 계산은 데이터의 크기에 따라 확장됩니다. 그래서 Spark이 아무 것도 계산하지 않는다고

1열

1답변

데이터를 서브 세트 한 후 Sparklyr "NoSuchTableException"오류가 발생했습니다.

나는 sparklyr을 처음 사용하고 공식적인 교육을받지 않았으므로이 질문 이후에 분명해질 것입니다. 나는 또한 도움이되지 않는 스펙트럼의 통계 학자에 더 많은 것을 알고있다. Spark DataFrame을 하위 설정 한 후에 오류가 발생합니다. library(sparklyr) library(dplyr) sc <- spark_connect(master