google-cloud-dataproc

3열

2답변

모든 작업이 완료되면 Google DataProc 클러스터를 프로그래밍 방식으로 종료 할 수 있습니까? DataProc는 생성, 모니터링 및 관리 (https://cloud.google.com/dataproc/docs/resources/faq)를 제공합니다. 하지만 클러스터를 삭제하는 방법을 찾지 못했습니다.

0열

1답변

pig/hive/spark 작업을 실행하기 위해 Google Dataproc 클러스터에 사용자 정의 작업 ID를 부여하십시오.

dataproc 작업에 사용자 정의 job_id를 제공하는 데 사용할 수있는 플래그가 있습니까? 돼지 작업을 실행하려면이 명령을 사용하고 있습니다. gcloud를 통해 Dataproc 작업이 제출 돼지 --cluster my_cluster --file my_queries.pig 내가 pyspark/하이브 작업을 제출하기 위해 유사한 명령을 사용합니다. 이

1열

1답변

Google Cloud Dataproc에서 Pig 작업 제출은 Pig 클래스 경로에 사용자 정의 jar를 추가하지 않습니다.

Google Cloud Dataproc을 통해 돼지 작업을 제출하고 Pig 스크립트에서 사용하는 사용자 정의로드 기능을 구현하는 사용자 정의 jar를 포함하려고합니다. 나는 그것을하는 방법을 찾을 수 없습니다. UI를 통해 사용자 정의 jar를 추가하는 것은 돼지 클래스 경로에 추가하지 않습니다. 여기 내 클래스를 찾을 실패 보여, 돼지 작업의 출력입니다

1열

1답변

dataproc 클러스터에서 hadoop 서비스를 다시 시작하는 방법

잘못된 용어로 검색했을 수 있지만 Google에서이를 수행하는 방법을 알려주지 않았습니다. 문제는 어떻게 구성 파일 (실 속성 등)을 변경 한 후 Dataproc에서 hadoop 서비스를 다시 시작할 수 있습니까? 서비스는 클러스터 전체에서 특정 순서로 다시 시작되어야합니다. 스크립트 나 도구가 있어야 Dataproc 설치에 클러스터가 다시 시작될 수 있습

0열

1답변

클라우드 데이터 흐름의 사용자 지정 논리 키를 사용하여 그룹화하는 방법

클라우드 데이터 흐름 파이프 라인의 사용자 지정 개체를 기반으로 Groupby 키를 얻으려고합니다. public static void main(String[] args) { Pipeline pipeline = Pipeline.create(PipelineOptionsFactory.create()); List<KV<Student,Student

1열

1답변

Google Dataproc에서 여러 서비스 계정 사용

하나의 Dataproc 클러스터에서 여러 서비스 계정을 사용할 수 있습니까? 내가 3 개의 버킷을 가지고 있다고 가정 해 봅시다. 서비스 계정 A는 버킷 A에 대해 r/w 액세스 권한을 가지며 버킷 B 및 C에 대한 r 액세스 권한을 갖습니다. 서비스 계정 B는 버킷 B에 대한 r/w 액세스 권한을 가지며 버킷 A 및 C 서비스 계정 C는 버킷 C에 대해

0열

1답변

Google Dataproc에서 Spark 실행 엔진을 사용하도록 Hive를 구성하는 방법은 무엇입니까?

기본 MapReduce 대신 실행 엔진으로 Spark를 사용하기 위해 Google Dataproc 이미지 v1.1 (Hive 2.1.0 및 Spark 2.0.2)에서 실행중인 Hive를 구성하려고합니다. 여기의 지침에 따라 https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+S

0열

1답변

Dataproc 노드 설정

Google 데이터 클러스터는 모든 노드를 만들 때 실행되는 초기화 작업을 처리 할 수 있다는 점을 알고 있습니다. 그러나이 작업은 작은 작업에만 적합하며 대규모 파이프 라인에 대한 종속성과 소프트웨어가 많은 노드를 만드는 데는 적합하지 않습니다. 따라서 궁금한 점이 있습니다. 어쨌든 노드를 사용자 정의 이미지로로드하거나 모든 노드가 설치되면 이미지가

0열

2답변

클라우드 쉘에서 Jupyter 노트북으로 dataproc 클러스터에 연결하는 방법

dataproc로 Jupyter 노트북을 설정하는 방법은 여기 https://cloud.google.com/dataproc/docs/tutorials/jupyter-notebook을 보았습니다. 대신 클라우드 쉘을 사용하기 위해 프로세스를 변경하는 방법을 알 수 없습니다. 로컬에서 SSH 터널을 만드는 방법. 클라우드 쉘에서 datalab connect v

0열

2답변

클러스터를 중지 한 후 Google Cloud Dataproc 클러스터에서 Jupyter 노트북을 다시 열 수 없습니다.

Google Cloud Dataproc을 사용하여 Jupyter 노트북을 실행했습니다 (다음 안내에 따라 : https://cloud.google.com/dataproc/docs/tutorials/jupyter-notebook). 노트북을 실행하고 저장 한 다음 나중에 어느 시점에서 클러스터를 중지했습니다 (GUI 사용). 그런 후에 나는 클러스터를 다시