google-cloud-dataproc

0열

1답변

DataProc 클러스터에서 생성 된 삭제 된 VM 인스턴스를 복구하는 방법

실수로 모든 VM 인스턴스가 삭제되면 Dataproc 클러스터에서 복구 할 수있는 방법이 있습니다. 삭제 된 VM 인스턴스를 복구 할 방법이없는 경우 새 VM 인스턴스를 생성하고 기존 DataProc 클러스터에 연결할 수 있습니까? 제안 해주세요.

0열

1답변

Clou dataproc 초기화 작업 - 포트 할당

Tez, Hue, Presto, Zeppelin 및 Oozie와 같은 여러 응용 프로그램을 클러스터에 배포하려는 경우 repo를 빠르게 검사하면 일부 포트가 기본적으로 충돌합니다 Zeppellin와 프레스토). 입니다이 버그? 나는 우리가 내가 여러 클러스터하지 정말 유용한 답변. 감사을 제안하기? 우리가 필요로하는 도구를 사용하여 클러스터를 초기화 할 수

0열

1답변

dataproc pyspark 작업에 매개 변수 전달

dataproc pyspark 작업 제출에서 호출되는 python 스크립트에 매개 변수를 전달하는 방법은 무엇입니까? 여기에 내가 함께 일 처리 봤는데 cmd를은 다음과 같습니다. 분명히 Job [vvvvvvv-vvvv-vvvv-vvvv-0vvvvvv] submitted. Waiting for job output... Warning: Ignoring no

0열

1답변

tableau를 Google Dataproc에 연결하십시오.

SPARK SQL을 통해 Google Dataproc에 tableau를 연결하는 방법을 궁금하십니까? 마스터 노드와 포트의 외부 IP 주소를 사용하여 연결하려고하지만 작동하지 않습니다.

0열

1답변

dataproc 클러스터를 업그레이드하는 권장 방법은 무엇입니까?

Dataproc은 Stateless/Immutable으로 설계된 것으로 보입니다. 이 가정이 맞습니까? Hive/Presto 데이터웨어 하우스를 배포하려는 경우 지금 당장 종료해야합니까? 한 번 클러스터를 관리해야하는 방법을 제안하는 문서를 찾는 데 어려움을 겪고 있습니까? 구성 요소를 업그레이드하는 방법은 무엇입니까? 클러스터를 만든 후 도구 (예 : 색

0열

1답변

Dataproc pyspark 맵 내에서 GCP Translate API 호출

파일의 각 행에 대해 pyspark에서 클라이언트 API 번역의 언어 감지 메소드를 호출하려고합니다. 지도 방법을 다음과 같이 만들었지 만 작업이 오류없이 고정 된 것처럼 보입니다. 번역 API에 대한 호출을 제거하면 잘 실행됩니다. pySpark지도 내에서 Google 클라이언트 API 메소드를 호출 할 수 있습니까? 매핑 방법은 번역을 데프 doTran

1열

1답변

Dataproc (Spark v2)의 얀 큐 예

Dataproc의 Spark 2.x에서 원사에 기본 큐를 더 추가 할 수 있었던 사람이 있습니까? 클러스터 생성시 실패 시도 : 또한 capacity-scheduler:yarn.scheduler.capacity.root.queues=alpha,beta,default yarn:yarn.scheduler.capacity.root.queues=alpha,beta

1열

1답변

Google Dataproc 클러스터 내 암호화

Google은 GDP 준수를 위해 노력하고 있습니다. 핵심 쟁점 중 하나는 데이터 암호화입니다. Google Cloud Platform에서 노드간에 데이터를 이동하면 전송 중 데이터 암호화가 발생합니다. 클러스터 내의 데이터 암호화는 어떻게됩니까? 셔플 링 중에 Google Dataproc을 사용할 때? 또한 tmp dir이 Spark에서 내부적으로 사용되

0열

1답변

YARN 클러스터 모드는 감소 집행 인스턴스의 수

나는 다음과 같은 방법으로 Google 클라우드 통해 Dataproc 클러스터를 프로비저닝하고있어 : spark.driver.cores=1 spark.driver.memory=1g와 yarn-cluster 모드에서 스파크 응용 프로그램을 시작 gcloud dataproc clusters create spark --async --image-version 1.

0열

1답변

GCP Dataproc spark.jar.packages 관련 문제 다운로드

Dataproc Spark 클러스터를 만들 때 명령에 --properties spark:spark.jars.packages=mysql:mysql-connector-java:6.0.6을 전달합니다. 우리 PySpark 스크립트가 분명히 창조에이 아무것도하지 않는 CloudSQL에 을 저장,하지만 첫 번째 spark-submit에이 의존성을 해결하기 위해 노력