google-cloud-dataproc

0열

1답변

공기 흐름이있는 DataProcPigOperator에서 지역 및 영역 (Google Cloud Platform)을 설정하는 방법

문제가 발생했습니다. 기본 영역이 전역으로 실행되기 때문에 DataProcPigOperator 코드를 생성 할 것입니다.하지만 DataProcPigOperator가 글로벌 영역을 실행하는 기본 작업이기 때문에 asia-easth1 코드가 실행되지 않는 클러스터에서 정의 영역을 변경합니다. 어떤 해결책이 .. ?? t1 = DataProcPigOperator

0열

1답변

dataproc와 sql 간의 연결 시간 초과 (CPB100 - Lab3b)

Google CPB100 - Lab3b (train_and_apply.py)에서 dataproc with SLQ (mysql ddbb) 스크립트를 실행하려고 시도하지만 시간 초과가 발생합니다. Caused by: java.net.ConnectException: Connection timed out (Connection timed out) dataproc

0열

1답변

통해 Dataproc 클러스터

를 만들 수 없습니다 웹 콘솔 또는 gcloud를 사용하여 통해 Dataproc 클러스터, 같은 오류가 점점 생성 할 때이 오류 수단을 무엇 gcloud dataproc --region us-west1 clusters create cluster-02eb --subnet default --zone us-west1-a --master-machine-type n

7열

2답변

Google Cloud Dataflow와 Google Cloud Dataproc의 차이점은 무엇입니까?

Google 데이터 흐름을 사용하여 ETL 데이터웨어 하우스 솔루션을 구현하고 있습니다. Google 클라우드 오퍼링을 살펴보면 DataProc도 동일한 작업을 수행 할 수 있습니다. DataProc이 DataFlow보다 조금 저렴하다고 여겨집니다. 는 사람은 왜 구글이 모두 제공 않습니다 Dataproc에서 이상 흐름의 장점/단점을 알고 있나요?

0열

1답변

Google 클라우드 dataproc의 Google JDBC 드라이버 ClassNotFoundException

Google 클라우드 dataproc에서 실행중인 작업에서 google cloud sql에 연결하려고합니다. 외부 네트워크에서 클라우드 SQL 인스턴스에 대한 액세스를 승인하지 않았습니다. 내 dataproc 클러스터가 cloud sql과 같은 프로젝트에 있기 때문에 연결을 허용 할 것으로 기대하고 있습니다. 나는 cloud sql (https://clou

0열

1답변

dataproc 워크 플로 템플릿을 통해 매개 변수를 전달하는 방법

dataproc 워크 플로 템플릿이 아직 베타 버전이지만 추가 작업을 통해 실행 파일 sql에 매개 변수를 전달하는 방법을 알고 있습니까? 쉘에서 처음-job.sql 파일을 다음 #/bin/bash DATE_PARTITION=$1 echo DatePartition: $DATE_PARTITION # sample job gcloud beta da

1열

1답변

Dataproc의 BigQuery 및 Pyspark

BigQuery에 FPgrowth 알고리즘을 쿼리하고 구현하려는 테이블이 있습니다. dataproc 클러스터의 VM 인스턴스를 사용하여 pyspark 셸에서 먼저 시도하고 싶습니다. 나는 pyspark를 사용하여 BQ의 테이블을 직접 질의하는 방법을 찾고있다. FPGrowth를 구현하기 위해 결과 쿼리 데이터를 사용하고 싶습니다 (이미 익숙합니다).

0열

1답변

개별 dataproc 스파크 로그는 어디에 있습니까?

dataproc 스파크 작업 로그는 어디에 있습니까? "로깅"섹션에서 드라이버의 로그가 있다는 것을 알고 있지만 실행 노드는 무엇입니까? 또한 Spark이 실행하는 세부 단계는 어디에서 기록됩니까 (응용 프로그램 마스터에서 볼 수 있습니까?) 멈추고 스파크가 멈추는 것처럼 보이는 스크립트를 디버깅하려고합니다.

0열

1답변

BigQuery 및/또는 Cloud Storage GCS의 데이터를 Dataproc에 읽어들입니다.

BigQuery에서 dataproc spark 클러스터로 데이터를 읽습니다. 내 사례 BigQuery 표의 데이터가 원래 GCS에서로드 된 경우 dataproc (newAPIHadoopRDD) 용 BigQuery 커넥터가 먼저 Google Cloud Storage 버킷에 데이터를 다운로드하기 때문에 GCS에서 데이터를 직접 스파크 클러스터로 읽는 것이 좋습

0열

1답변

아파치 스파크로 파티션 된 테이블 또는 뷰를 읽습니다.

저는 dataproc-bigQuery 커넥터를 사용하여 파티션 테이블을 읽었습니다. 300GB가 넘는 데이터와 그 파티션이 포함되어 있지만, 필요한 데이터는 오늘부터 스파크 커넥터로 읽은, 나는 이미 파티션 된 bigquery에서보기로 그것을 읽으려고했으나 작동하지 않는다. 아파치 스파크로 bigquery 테이블에서 파티션을 읽는 방법이 있는가? (현재 코