google-cloud-dataproc

3열

1답변

Google 클라우드에서 스파크 클러스터를 실행하고 각 작업마다 구성 파일을 업로드합니다. 제출 명령과 함께 업로드되는 파일의 경로는 무엇입니까? 다음 예에서 SparkContext를 초기화하기 전에 Configuration.properties 파일을 읽는 방법은 무엇입니까? 나는 스칼라를 사용하고있다. gcloud dataproc jobs submit s

1열

1답변

YARN이 Google Dataproc 인스턴스에서 사용 가능한 모든 메모리를 사용하지 않습니다.

저는 각각 메모리가 104GB 인 기계 h1-highmem-16을 사용하여 Dataproc 작업을 실행하고 있습니다. Google 콘솔에서 인스턴스의 크기를 두 번 확인했으며 모든 작업자와 마스터는 실제로 h1-highmem-16입니다. 왜 YARN 모든 1백4기가바이트 메모리를 사용하지 않는 Container killed by YARN for exceed

0열

1답변

스파크 - 쉘 및 sparkR 구글에서 Dataproc에서

나는 우리가 테스트 목적으로 스파크 쉘 또는 sparkR를 통해 코드 집합을 실행하려면 구글 Dataproc에서 에 아주 새로운 오전. 스파크 클러스터에 연결하고 google DataProc에서 spark-shell 또는 sparkR 명령을 실행할 수 있습니까? doc을 확인했는데 spark-submit을 사용하여 작업을 제출할 수 있지만 spark-she

1열

1답변

Dataproc Create Error (클러스터 작동) 진단 (Java 라이브러리)

Google Dataproc을 사용하여 클러스터를 만들려고하면 처음에는 결과가 성공적으로 반환 된 것처럼 보이지만 클러스터에 대한 다음 "get"은 클러스터가 즉시 시작되었음을 알려줍니다 "만들기"- "오류"상태. 유감스럽게도 진단 호출을 호출하는 것은 도움이되지 않았습니다. I는 (일부 자유 대신 API를 통해 또는 통해서 얻어진 값의 하드 코딩 된 문자

1열

1답변

google-data-proc에서 "numpy라는 모듈이 없습니다 ..."오류, google-data-proc에서 numpy를 업그레이드하는 방법?

내가 import numpy as np ImportError: ('No module named numpy', <function _parse_datatype_json_string at 0x7fc294e25230>....... 구글 클라우드 - 데이터 - PROC에 내 노트북을 실행하지만 같은 파이썬 2.7 로컬로 실행할 때 오류가 발생하지 않을 때 나는

0열

1답변

Google Dataproc에서 실행되는 Spark에서 saveAsTextFile을 사용하는 동안 로컬 디스크 또는 HDFS 대신 외부 저장소 (GCS)에 임시 파일을 저장하는 이유는 무엇입니까?

나는 다음과 같은 PySpark 코드를 실행 한 : from pyspark import SparkContext sc = SparkContext() data = sc.textFile('gs://bucket-name/input_blob_path') sorted_data = data.sortBy(lambda x: sort_criteria(x)) sor

2열

1답변

dataproc의 스파크 기본 설정, 특히 spark.yarn.am.memory

google dataproc에서 스파크 설정이 어떻게 결정되는지 궁금합니다. 내 경우, 나는 3 노드 (N1) 표준-4 클러스터를 실행하고 있고 자동으로 생성 된 스파크은 defaults.conf는 다음과 같습니다는 config가 그런 식으로 설정 한 이유가 궁금 # User-supplied properties. #Fri Dec 16 12:01:4

0열

1답변

Dataproc에서 맞춤 스파크 빌드를 실행 중이십니까?

Google Cloud Dataproc에서 맞춤 Apache Spark을 컴파일하고 빌드 할 수 있습니까? 우리가 Apace Spark를 조정하고 dataproc에 맞춤 스파크를 만들고 싶다고합시다.

0열

1답변

google-fluentd : Cloud Logging의 심각도 변경 log_level

Google Cloud Dataproc 클러스터에서 스파크 작업 (스파크 스트리밍 중 상당 부분)을 실행 중입니다. 우리는 스파크 작업에 의해 생성 된 모든 로그를 수집하기 위해 클라우드 로깅을 사용하고 있습니다. 현재 전체 로그 볼륨을 몇 TB 크기로 만드는 "INFO"메시지를 많이 생성하고 있습니다. "INFO"대신 "ERROR"수준으로 로그 수준을 제

2열

1답변

BigQuery에서 Spark으로 효율적으로 읽으시겠습니까?

BigQuery Connector을 사용하여 BigQuery에서 데이터를 읽을 때 모든 데이터가 먼저 Google Cloud Storage에 복사되는 것으로 나타났습니다. 그런 다음이 데이터를 Spark로 병렬로 읽습니다. 그러나 큰 테이블을 읽을 때 데이터 스테이지를 복사하는 데 오랜 시간이 걸립니다. BigQuery에서 Spark로 데이터를 읽는 더 효