google-cloud-dataproc

1열

1답변

habase google cloud에서 java에 저장된 python 정수를 다시 가져올 수 없습니다.

Google Bigtable에서 hbase를 사용하여 bigdata를 저장하고 있습니다. 나는 2 개의 프로그램이있다. 먼저 파이썬을 사용하여 hbase에 데이터를 저장하고 두 번째는 같은 엔드 포인트에 연결하여 java에서 다시 정보를 읽습니다. 그래서 정수로 다시 바이트 배열을 읽을 수있는 파이썬 대화식 쉘 (명령 15)에서 In [13]: row.ce

0열

1답변

dataproc 덜 구체적으로 표시

매월 5GB의 로깅 만 변경하면 생성되는 로그의 양을 제한하고 싶습니다. Dataproc을 시작할 때마다 매우 장황하고 많은 로깅 데이터를 생성합니다. 메시지를 경고하거나 초과하도록 제한 할 수있는 방법이 있습니까? --properties을 사용하여 log4j 수준을 설정할 수없는 것 같습니다.

2열

1답변

Spark Riak 커넥터 및 pyspark를 사용하여 RDD를 구축 할 때 예외를 해결하는 방법

매우 간단한 쿼리를 수행 할 때 spark riak 커넥터를 사용하려고 할 때 예외가 발생합니다. 최신 Riak TS 1.4 실행 스파크 1.6.2 하둡 2.6 스칼라 0.10 (구글 클라우드 Dataproc을 통해), 스파크 riak 콜렉터를 com.basho.riak : 스파크 riak-connector_2.10을 : 1.6.0 >>> import py

1열

1답변

google-cloud-dataproc에서 spark thrift 서버를 시작할 수 없습니다

google-cloud dataproc 클러스터의 포트 10010에서 spark sql 용 중고품 서버를 시작하는 데 어려움을 겪고 있습니다. 다음 오류와 함께 실패합니다. 아무도 도와 줄 수 있습니까? 나는 행운을 불어 넣는 포트 번호를 바꾸려고 노력했다. 조직 16/11/30 23시 47분 16초 INFO : 는 sudo는 HIVE_SERVER2_THR

1열

1답변

Bigtable이 네트워크를 통해 Dataproc에 데이터를 보내지도 무대를 수행합니까?

Google Dataproc 클러스터를 사용하여 Bigtable에 대한 Spark M/R 작업을 실행하고 있습니다. 네트워크를 통해 Bigtable에서 Dataproc 클러스터로 전송되는 데이터가 맵 스테이지를 수행하거나 맵 스테이지가 실제로 Bigtable 클러스터에서 실행됩니까?

0열

1답변

Java SDK를 사용하여 Dataproc의 GceClusterConfig에서 ZoneUri를 지정하는 방법

Dataproc을 사용하여 새로운 Compute 클러스터를 만들려고 할 때 "us-west1-a"또는 "us-central1"과 같은 "실제"영역을 지정할 때 불평합니다 -f ",이 엔드 포인트에서 지정된 영역이 지원되지 않는다는 오류 메시지가 수신됩니다. (아래 오류 텍스트 참조) 오류에 따르면, 영역에 "전역"이 표시 될 것으로 예상됩니다. 그러나 전역

0열

1답변

Google Dataproc에서 두 개의 다른 프로젝트 ID를 사용하는 Pyspark 및 BigQuery

다른 프로젝트 ID로 Google Dataproc을 사용하여 일부 pyspark 작업을 지금까지 성공시키고 싶습니다. 저는 pyspark 및 Google Cloud가있는 초보자이지만, this 예제를 따라 갔고 잘 실행됩니다 (BigQuery 데이터 세트가 공개이거나 내 GCP 프로젝트 인 ProjectA에 속한 경우). 입력 매개 변수는 다음과 같이 :

1열

1답변

Google Cloud Storage에서 Dataproc Spark Streaming Kafka 체크 포인트 경고

Google Cloud Storage에서 Kafka 체크 포인트와 함께 Dataproc 1.1 (Spark 2.0.2)을 사용할 때 많은 경고가 있습니다. 다음과 같은 경고 메시지가 표시됩니다. 16/12/11 01:36:02 WARN HttpTransport: exception thrown while executing request java.net.So

0열

1답변

Dataproc로 만든 Google 클러스터의 외부 IP 주소를 프로그래밍 방식으로 찾으려면 어떻게해야합니까?

Google의 Dataproc을 사용하여 Compute 클러스터를 만들 때 클러스터 이름이 프로젝트의 "MyCluster"인 경우 "MyProject-107701"이면 마스터 클러스터가 "mycluster-mcmyproject-107701.internal"로 인식됩니다 (어디 있는지 모르겠습니다. ".c"의 출처는 nslookup을 사용하여 밝혀진 것입니다

0열

2답변

Dataproc에서 Datastore로 데이터 저장

Google Dataproc/Spark에서 Python2.7을 사용하는 권장 엔진을 구현했으며 이후 App Engine API에서 사용하기 위해 출력을 Datastore의 레코드로 저장해야합니다. 그러나이를 직접 수행하는 방법이없는 것 같습니다. Dataproc에 대한 Python Datastore 커넥터는 없습니다. Python Dataflow SDK는