google-cloud-dataproc

1열

1답변

Dataproc documentation에 따르면 선점 가능한 VM은 처리 노드로만 연결됩니다. 처리 노드 란 무엇입니까?

0열

1답변

Google의 문서에 따르면 dataproc 클러스터를 만들면 프로젝트 기본 서비스 계정이 사용됩니다. 소스 : https://cloud.google.com/sdk/gcloud/reference/beta/dataproc/clusters/create 는 기본 이외의 다른 서비스 계정을 사용할 수 있습니까?

1열

1답변

스파크 작업이 Google Dataproc과 호환되지 않음

한 줄을 변경하지 않았지만이 코드는 몇 개월 동안 정상적으로 작동했으며 약 2 개월 전 Google Dataproc을 사용하여 작업을 중단했습니다. WARN org.apache.spark.scheduler.TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, test-cluster-w-1.c.test-project.in

2열

1답변

Spark (Python) 및 Dataproc을 사용하여 Google 스토리지에서 파일 다운로드

Google 스토리지 (내 프로젝트 버킷)에서 다운로드 할 데이터를 처리하는 Python 객체의 실행을 병렬화하는 애플리케이션이 있습니다. 클러스터는 Google Dataproc을 사용하여 생성됩니다. 문제는 데이터가 다운로드되지 않는다는 것입니다! 문제를 이해하고 테스트하기위한 테스트 프로그램을 작성했습니다. 나는 양동이에서 파일을 복사하고 근로자에

0열

1답변

Google Dataproc 노드 유휴

내 Dataproc 클러스터의 내 노드 중 하나가 스파크 작업을 실행할 때 항상 유휴 상태입니다. 나는 클러스터 요법을 삭제하고 다시 만들려고했다. 항상 유휴 노드가 하나 있습니다. 이유는 몇 초마다 올 로그에서이 세 가지 선으로 표시 될 것 같다 : Trying to fulfill reservation for application application_1

0열

1답변

Google 클라우드 저장소 - 파일의 값으로 파일 분할

Google Cloud 저장소에서 파일을 읽고 파일의 필드 인 transaction_date를 기준으로 여러 파일로 분할해야합니다. 파일 크기는 약 6TB입니다 (여러 파일로 분할 됨). 이것을 달성하는 가장 효과적인 방법은 무엇입니까? 데이터 흐름이나 Dataproc, 다른 간단한 방법을 사용해야합니까?

0열

1답변

하이브 선택 쿼리는 ORC 테이블에 실패

예외 : 예외 때 java.io.IOException에 실패 : 때 java.io.IOException가 : 어떻게 든 -1 바이트 의 위치를 추구하는 6257 개 이상의 바이트를 건너 뛰려고 읽기 6708, 크기 : 1290047 누구든지 cloud dataproc에서 해결 방법에 대한 아이디어가 있습니까?

1열

1답변

통해 Dataproc 내가 구글 클라우드 통해 Dataproc에 명령 아래에 노력하고 oozie 패키지

를 설치하는 데 실패 : apt-get install oozie-client 을하지만 Dataproc에서이 저장소에 oozie 패키지를 나열 실패합니다. 오류 : [email protected]<master>:#> apt-get install oozie-client Reading package lists... Done Building dependen

2열

1답변

PySpark 애플리케이션의 Google Cloud Bigtable에서 데이터를 읽고 쓰는 방법은 무엇인가요?

Google Cloud Dataproc 클러스터에서 Spark를 사용 중이며 PySpark 작업에서 Bigtable에 액세스하고 싶습니다. Google BigQuery 커넥터처럼 Spark 용 Bigtable 커넥터가 있습니까? 어떻게 PySpark 응용 프로그램에서 Bigtable에 액세스 할 수 있습니까?

1열

1답변

dataproc 작업에서 gcs 파일을 읽는 중에 gcs 파일이 변경되면 어떻게됩니까?

GCS를 hdfs로 사용할 때, 읽고있는 GCS 파일이 업데이트/일시적으로 삭제되면 dataproc 작업이 계속 실행될 수 있습니까? (as it does with native hdfs)? 나는 약간의 테스트도 할 수 있지만 누군가가 알고 있는지 궁금해하고있다.