hadoop2

1열

1답변

아래의 성명서에 문제가 있습니다. server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 위의 문이 을 무엇을 의미합니까 난 내가 server.1에 대한 인수로 전달해야 이것이 사용되는지 이해하지 못했다으로 문 zoo1을 실행 시도하지 않은 I 패스와 u는 예제를 통해 설명

1열

2답변

왜 매퍼가 ArrayIndexoutofboundexception을 던집니까?

줄 단위로 CSV 파일을 읽고 하위 문자열로 "India"가 포함 된 줄의 키 값 쌍을 보내려고합니다. 이를 위해 아래 코드를 개발했습니다. 매퍼 코드 import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable;

1열

1답변

마스터 노드는 hadoop 클러스터의 모든 프로세스를 어떻게 시작합니까?

일반 바닐라 Hadoop을 사용하여 5 개의 가상 시스템으로 구성된 Hadoop 클러스터를 설정했습니다. 클러스터 세부 정보는 다음과 같습니다. 192.168.1.100 - NameNode 및 SNN 데몬을 실행하도록 구성했습니다. 192.168.1.101 - ResourceManager 데몬을 실행하도록 구성되었습니다. 192.168.1.102 - Dat

0열

2답변

지도에서 내림차순으로 데이터를 정렬하는 방법?

내 감속기이 O/P에게 Country-Year,Medals India-2008,60 United States-2008,1237 Zimbabwe-2008, 2 Namibia-2009,22 China-2009,43 United States-2009,54 을 제공합니다 그리고 난 메달을 기반으로 일어날해야하며, 세 가지가 표시되어야 정렬이를 원한다

0열

1답변

non-jar 파일을 실 노드에 배포하는 방법은 무엇입니까?

*.tar.gz 파일을 APPLICATION 레벨 가시성 아래의 실 노드에 배포하려고합니다. 디렉토리 다음 내 하둡 노드에서 는 노드 관리자에 의해 생성됩니다 /tmp/hadoop-vikram/nm-local-dir/usercache/vikram/appcache/application_1490062699498_0005/container_149006269949

0열

1답변

실행 오류, org.apache.hadoop.hive.ql.exec.mr.MapRedTask에서 0으로 설정 작업을 줄일 수의

수 코드 2를 반환하지 (현지 하둡) 2017년 3월 23일 12 : 19 : 17,371 단계-1지도는 0 % 감소 = 0 % 디버깅 정보를 얻는 오류 작업 중 오류로 종료 작업 = job_local1571094051_0001 ... 실패 = : 실행 오류, org.apache.hadoop.hive.ql.exec.mr.MapRedTask의 코드 2를 반환

0열

1답변

spark에서 큰 파일을 실행하기위한 접근 방법

spark 클러스터에서 큰 파일을 처리 할 때 메모리가 부족합니다. 나는 힙 크기를 늘릴 수 있다는 것을 알고있다. 하지만 좀 더 일반적인 경우에는 생각하지 않는 것이 좋습니다. 큰 파일을 일괄 적으로 작은 파일로 분할하는 것이 궁금합니다. 좋은 선택입니다. 따라서 우리는 큰 파일 대신 작은 파일을 배치로 처리 할 수 있습니다.

0열

1답변

Hadoop의 데이터 노드/Slavenodes간에 데이터를 배포하는 방법은 무엇입니까?

두 대의 컴퓨터로 구성된 하둡에 다중 노드 클러스터가 있습니다. 첫 번째 머신 (마스터 및 슬레이브 구성)은 이름 노드와 데이터 노드를 실행하고 두 번째 머신 (구성된 슬레이브)은 데이터 노드를 실행합니다. 그들 사이의 데이터를 거의 똑같이 업로드하고 배포하고 싶습니다. 먼저 : 나는 두 가지 시나리오가 나는 크기가 500메가바이트의 파일 FILE1이 있다

-2열

1답변

입력 파일 수가 많은 경우 Map Reduce의 GC 오버로드 한도가 초과되었습니다.

MR 작업을 작성하여 5800 개 이상의 입력 파일을 처리합니다. 시작했을 때 "스레드의 예외"메인 "java.lang.OutOfMemoryError : GC 오버 헤드 한도를 초과했습니다"라는 메시지로 시작되었습니다. Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exce

0열

1답변

종단 작업 = 작업 중 오류 오류와 job_local644049657_0014, 어떻게</p> <p>내가 Resouce의 관리자의 URL을 체크 한 안내하시기 바랍니다 로그 파일</p> <p>을 찾을 수있는 정보

디버깅 얻었다. 하지만 난이가 쿼리 ID는 = hadoop_20170325120040_d54d136a-1904-4af9-8f8d-4167343db072 작업을 줄일 수 1 수 중 총 작업 = 1 런칭 작업 1은 완전한 오류가있는 로그 파일 을 찾을 didnt는 감소 연산자가 없으므로 을 0으로 설정하십시오. 로컬 ( Hadoop) 2017-03-25 12