마스터 URL 'spark.bluemix.net'을 구문 분석하지 못했습니다.

데스크톱 컴퓨터에서 실행중인 RStudio의 Bluemix에서 실행되는 서비스로 IBM의 스파크에 연결하려고합니다.마스터 URL 'spark.bluemix.net'을 구문 분석하지 못했습니다.

install.packages("sparklyr") 

library(sparklyr) 
spark_install(version = "1.6.2") # installed spark to '~/Library/Caches/spark/spark-1.6.2-bin-hadoop2.6' 

spark_home = '~/Library/Caches/spark/spark-1.6.2-bin-hadoop2.6' 

config = spark_config(file = "./config.yml", use_default = FALSE, config = "CSX-DSX") 

sc <- spark_connect(spark_home = spark_home, config = config)

오류 :

내가 지금처럼 연결을 시도하고

default: 
    method: "shell" 

CS-DSX: 
    method: "bluemix" 
    spark.master: "spark.bluemix.net" 
    spark.instance.id: "myinstanceid" 
    tenant.id: "mytenantid" 
    tenant.secret: "mytenantsecret" 
    hsui.url: "https://cdsx.ng.bluemix.net"

나는 IBM의 데이터 과학 환경에서 실행되는 자동으로 구성 RStudio 환경에서 config.yml를 복사 한

17/03/07 09:36:19 ERROR SparkContext: Error initializing SparkContext. 
org.apache.spark.SparkException: Could not parse Master URL: 'spark.bluemix.net' 
    at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2735) 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:522) 
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2281) 
    at org.apache.spark.SparkContext.getOrCreate(SparkContext.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    ...

스택 오버와 관련하여 몇 가지 다른 질문이 있습니다. 흐름과 유사한 오류 메시지가 표시되지만 Blueemix에서 실행되는 Spark 서비스에 연결하려고 시도하지 않습니다.

default: 
    method: "bluemix" 
    spark.master: "spark://spark.bluemix.net:7070" 
    spark.instance.id: "7a4089bf-3594-4fdf-8dd1-7e9fd7607be5" 
    tenant.id: "sdd1-7e9fd7607be53e-39ca506ba762" 
    tenant.secret: "6146a713-949f-4d4e-84c3-9913d2165b9e" 
    hsui.url: "https://cdsx.ng.bluemix.net"

을 ... 그리고 내 연결 코드는 다음과 같이보고 :

업데이트 1

I는 다음과 같이 내 config.yml을 변경했습니다

install.packages("sparklyr") 
library(sparklyr) 
spark_install(version = "1.6.2") 
spark_home = '~/Library/Caches/spark/spark-1.6.2-bin-hadoop2.6' 
config = spark_config(file = "./config.yml", use_default = FALSE) 
sc <- spark_connect(spark_home = spark_home, config = config)

그러나 오류는 다음과 같습니다.

Error in force(code) : 
    Failed during initialize_connection: java.lang.NullPointerException 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:583) 
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2281) 
    at org.apache.spark.SparkContext.getOrCreate(SparkContext.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at sparklyr.Invoke$.invoke(invoke.scala:94) 
    ...

출처

2017-03-07 Chris Snow

나는 엔지니어링 팀에서 다음과 같은 응답을 받았습니다. 포트가 필요하다고 생각합니다. 그게 있어야할지 모르겠다.

출처

2017-03-07 15:53:46

라이브러리는 URL을 구문 분석하려고하지만 호스트 이름을 지정합니다.

spark.master의 경우 spark://spark.bluemix.net을 시도하십시오.

출처

2017-03-07 11:21:35

같은 오류 : –

이 답변에 따르면, 스키마는 spark가되어야합니다. http : http://stackoverflow.com/a/27250746/5629418 –

http://datascience.ibm.com/blog/access-ibm-analytics-for-apache-spark-from-rstudio/ 블로그 게시물을 따라 DSX RStudio의 Bluemix SparkaS를 연결하십시오. URL을

RStudio desktop version doesn't support at this time to use sparklyr package to connect Bluemix SparkaaS service

출처

2017-03-07 15:34:30

안녕하세요 @Mahesh, 오프라인에서 논의한 것처럼 내 데스크톱에서 실행되는 RStudio에서 연결해야합니다. –

마스터 URL 'spark.bluemix.net'을 구문 분석하지 못했습니다.

답변

관련 문제