google-cloud-dataproc

1열

1답변

spark.yarn.executor.memoryOverhead가 구성된 경우 dataproc에서 작업자 당 두 명의 실행 프로그램을 만들지 않는 이유는 무엇입니까?

Dataproc은 작업자 당 2 명의 Executor (또는 yarn NodeManager)에 맞춰지며, 각 노드는 코어의 절반과 메모리의 절반을 차지합니다. 그런 식으로 작동합니다. 우리는 설정을 무시할 경우 그러나, spark.yarn.executor.memoryOverhead는 = 4096 이 다음은 근로자 당 하나의 집행자를 생성 말한다. 코어의 절

1열

1답변

Dataproc의 하이브 권한

Dataproc에는 Apache Ranger 및 Apache Sentry와의 통합이 내장되어 있지 않습니다. 그렇다면 하이브에서 권장되는 사용자 권한 부여 방법은 무엇입니까? 저는 Dataproc의 초보자입니다. 답이 정말 도움이 될 것입니다.

1열

1답변

iOS에서 Google Cloud BigQuery로 데이터 푸시

전 새로운 아키텍처 인 Google Cloud Platforms에 익숙하지만 전체 아키텍처에서는 확실하지 않지만 일부 데이터는 iOS application에서 Google Cloud으로 저장하고 일부 데이터는이 데이터를 사용하여 분석합니다 Dataproc 및 Datalab과 같은 Google Cloud Products입니다. 지금까지 읽은 것에서는 Goog

0열

1답변

Google Cloud Dataproc에 Talend 커넥터

Google Cloud Dataproc에 Talend를 연결할 수 있습니까? 그리고 거기에 사용할 수있는 커넥터가 있습니까? 1에 관한 내용이지만 관련 문서는 찾을 수 없습니다. 위의 내용이 사실이라면 Talend를 사용하여 Dataproc의 Spark/Hadoop에서 작업을 실행할 수 있는지 알고 싶습니다. 감사합니다.

0열

1답변

Dataproc에서 Gobblin을 실행하려고 할 때 NoSuchMethodError

Google Dataproc에서 Gobblin을 실행하려고하는데이 NoSuchMethodError가 발생하여 해결 방법을 알 수 없습니다. Waiting for job output... ... Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflec

1열

1답변

internalIpOnly를 gcloud를 통해 projects.regions.clusters.create로 전달

GceClusterConfig 개체의 속성이 internalIpOnly이지만, gcloud command을 통해 해당 플래그를 지정하는 방법에 대한 명확한 문서는 없습니다. 그 재산을 지나갈 수있는 방법이 있습니까?

0열

1답변

기류 DataProcPySparkOperator가 글로벌 영역 이외의 클러스터를 고려하지 않음

DataProcPySparkOperator을 사용하여 일부 작업을 수행하고 있습니다. 이 연산자는 매개 변수로 클러스터 이름 만 가져오고, region을 지정하는 옵션은 없으며 기본적으로 전역 영역과 함께 클러스터를 고려합니다. 지구 이외의 지역에 클러스터에 대한 다음과 같은 오류가 발생합니다 googleapiclient.errors.HttpError: h

1열

1답변

Spark Dataproc에서 Google Storage에 파일이 있는지 확인하는 방법은 무엇입니까?

나는 Google 스토리지 커넥터가 Dataproc에서의 스파크에서 HDFS이었다 직접 것처럼 GS를 조회 할 수있는 것으로 가정했지만, (불꽃 쉘에서) 작동하지 않습니다 다음과 같은 것 같습니다 : 거기인가 Hadoop API 만 사용하여 Google 저장 용량 파일에 액세스하려면 어떻게해야합니까?

2열

1답변

Jupyter 노트북과 함께 사용하기 위해 Google DataProc 클러스터를 시작할 때 어떻게 추가 병을 포함시킬 수 있습니까?

jupyter 노트북을 시작하기위한 초기화 스크립트로 Google DataProc 클러스터를 시작하기위한 지침을 따르고 있습니다. https://cloud.google.com/blog/big-data/2017/02/google-cloud-platform-for-data-scientists-using-jupyter-notebooks-with-apache-sp

1열

1답변

Dataproc 클러스터의 Spark UI에서 파일을 가져올 때 http 코드 302

Dataproc 클러스터를 시작하고 포트 4040에서 웹 UI를 사용하는 데 문제가 있습니다. 먼저 spark-shell이 표시 한 IP와 포트를 표시합니다. 그런 다음 Spark UI 포트에 URL을 작성할 때 302 오류 코드를 표시합니다. wilsonbill522의 @ 클러스터-db78-m : ~ $ 스파크 쉘 설정 기본 로그 수준은 "WARN"합