yarn

2열

1답변

나는 원사 작업 공간을 사용하기 위해 내 lerna 설정을 전환했습니다. 이제 모든 패키지 종속성을 가진 루트 node_modules가 있습니다. 각 패키지의 node_modules에는 .bin 폴더 만 있습니다. 이 설정으로 webpack은 의존성을 해결할 수 없습니다. 나는이처럼 내 설정 파일을 변경해야합니다 :이 설정에 대한 resolve: {

0열

1답변

작업자 컴퓨터에 디스크를 증가하는 경우에 청사진/ambari 클러스터를 업데이트하는 방법

우리는 각 근로자가 5 개 디스크가 3 개 석사 기계, 두 카프카의 3 노동자 기계 와 ambari 클러스터가로 : /dev/sdb 200G 477M 200G 3% /gr/sdb /dev/sdc 200G 183M 200G 1% /gr/sdc /dev/sdd 200G 283M 200G 2% /gr/sdd /dev/sde 20

0열

1답변

왜 원사 메모리 오류가 발생합니까?

HDP 2.6.3에서 2.2 스파크 및 제플린 0.7.3은이 오류 얻을 : 최대 (8기가바이트)에서 java.lang.IllegalArgumentException: Required executor memory (12288+384 MB) is above the max threshold (8192 MB) of this cluster! Please check

1열

1답변

YARN에서 Spark 응용 프로그램을 시작하기 전에 모든 실행 프로그램이 할당 될 때까지 기다리는 방법은 무엇입니까?

원사 클러스터에서 스파크 작업을 실행하고 리소스가 충분하지 않아도 스파크 작업이 시작된다는 것을 알았습니다. 극단적 인 예로, 스파크 작업은 1000 명의 실행자 (코어 4 개와 램 20GB)를 요구합니다. 전체 클러스터에는 r3.xlarge (노드 4 코어 및 32GB 램)의 노드가 30 개 밖에 없습니다. 작업은 30 명의 집행자 만 실제로 시작하고 실

2열

1답변

YARN에서 드라이버 및 실행 프로그램의 코어 수가 요청한 수와 다른 이유는 무엇입니까?

나는 함께 클러스터 모드에서 스파크 작업을 배포 다음 드라이버 코어 -1 집행자 코어 - 집행의 2 수 - 2 나의 이해는이 응용 프로그램이다 클러스터 (5 개의 실행 코어와 1 개의 드라이버 코어)에서 5 개의 코어를 차지해야하지만 RM 및 Spark UI에서는이를 관찰하지 않습니다. 자원 관리자 UI에서 는,이 애플리케이션 만 사용 코어 4를 참조. 실

0열

1답변

실 작업 영역 - 확인할 수 없습니다 'AGROSTAR 스타일 - 구성 요소의

내가 아래에 이어 사실-실험적인 작업 공간 원사 -yarn의 설정 세트의 작업 공간에 의 전원을 켜고 단계 실에서 작업 공간을 시도하고있다 톱 레벨의 package.json - "작업 공간": [ "SRC/유틸리티/스타일"] 실행 - 원사가 시작 오류 - 원사 작업 공간 - 'agrostar-styled-components'를 해결할 수 없음 여기에 누락

0열

1답변

git commit 명령을 실행할 때 원사 오류가 발생합니다.

반응 네이티브 프로젝트 폴더에서 작업 중이며 시뮬레이터에서 올바르게로드 할 수 있습니다. 하지만 gitHub에 변경 사항을 적용하려고하면이 오류가 발생합니다. 은 실패 커밋 - 종료 코드 1 출력 수신 : '허스키> NPM 실행 -s precommit (노드 v8.9.3) 원사 실행 v1.3.2 $의 농담 & & eslint합니다. 이 ●이 expect(v

0열

1답변

플랭크 컨테이너의 코어 크기가 항상 1 인 이유

필자는 원사에 플랭크 (AWS EMR 원사 클러스터에서보다 정확하게)를 실행 중입니다. 나는 기본적으로 각 작업 관리자 컨테이너에 대해 flink가 원사로부터 자원을 요청할 때 작업 관리자 당 슬롯 수를 vCOres의 수로 요청한다는 flink 문서와 소스 코드를 읽습니다. 그리고 나는 또한 소스 코드에서 확인 : 나는 -yn 1 -ys 3, 나는, 원사가

0열

1답변

스파크 작업이 너무 많습니다.

나는 큰 테이블을 읽고 100,000 개의 작업을 생성하기 위해 spark-sql을 사용합니다. num_of_partitions를 설정할 수 있지만 작은 테이블과 동일한 작업을 수행 할 수 있습니다. Is there any way to limit the size of each partition ?

0열

1답변

YARN 클러스터 모드는 감소 집행 인스턴스의 수

나는 다음과 같은 방법으로 Google 클라우드 통해 Dataproc 클러스터를 프로비저닝하고있어 : spark.driver.cores=1 spark.driver.memory=1g와 yarn-cluster 모드에서 스파크 응용 프로그램을 시작 gcloud dataproc clusters create spark --async --image-version 1.