hadoop2

1열

1답변

ContainerRequestState [INFO] 큐에 더 이상 대기중인 요청이 없습니다.

노드가 3 개인 MapR (YARN) 클러스터를 사용하고 있습니다. 데이터 스트림에 대한 일부 처리를 위해 클러스터에 6 Samza 작업을 배포하려고합니다. 모든 작업이 정확합니다. 나는 병렬로 2-3 배치를 시도하고 그들은 작동합니다. 그러나 6 개의 Samza 작업을 모두 병렬로 배포 할 때 다음 로그가 표시됩니다. 작업이 계속 실행되고 예상되는 출력

1열

1답변

Reducer.reduce 메서드에서 컨텍스트에 쓸 때 toString 메서드가 호출되고 write 메서드가 아닌 이유는 무엇입니까?

나는 3-4 개의 체인으로 연결된 작업으로 구성된 map-reduce 배치 작업을 작성하고 있습니다. 두 번째 작업에서는 context.write()을 통해 컨텍스트에 쓸 때 출력 클래스로 사용자 정의 클래스를 사용하고 있습니다. 코드 동작을 연구 할 때 write 메서드가 아니라이 사용자 지정 클래스의 toString 메서드가 호출되었음을 알았습니다. 클

1열

1답변

YARN (Hadoop)의 컨테이너 할당 코드

YARN 컨테이너 할당 코드를 고치려고합니다. 컨테이너 할당이란 클러스터의 특정 시스템에 컨테이너를 배치하기로 결정한 것입니다. 내 컨테이너 할당 코드를 작성하고 싶습니다. 먼저 Hadoop을 YARN을 사용하여 가상 분산 모드로 실행하고 있습니다. 소스 코드에서 관련 위치를 찾으려고합니다. 지금까지 print 문을 사용하여 할당이 발생하는 클래스 hado

0열

1답변

모든 명령이 거기에 우리가 명령

실행할 때 호출되는 자바 클래스의 목록을 얻는 방법하는 우리가 명령과 같이 제출하는 경우 호출 할 수있는 모든 자바 클래스입니다 : hdfs dfs –copyFromLocal data.txt /tmp

0열

2답변

2.x의 Hadoop에서 secondary namenode 사용

Hadoop 1.x에는 보조 namenode가 있지만 기본 namenode 이미지를 만드는 데 사용되었으며 기본 namenode가 실패하고 다시 시작할 때이를 업데이트합니다. . 하지만 Hadoop 2.x에서 secondary namenode를 사용하는 것은 무엇입니까?

1열

1답변

Java Mapreduce group by compositekey 및 sort

maphduce 작업을 일부 처리하고 city : fruit와 연관된 수의 합성 키 (WritableComparable 구현)를 생성합니다. 이제 각 과일 종류별로 가장 많은 도시를 결정하는 2 차지도 제작 작업과 연계하고 싶습니다. 맵리 듀스 작업 1 샘플 복합 키 출력 : +---------------------+-------+ | city:fruit

1열

1답변

돼지에서 Xml을 처리 할 수 없습니다.

돼지에서 일하는 것은 초보자입니다. XML에게 파일과 아래의 명령을 처리하는 동안 내가 사용하는 것을 문제입니다 발생했습니다 : register '/usr/lib/pig-0.12.0/contrib/piggybank/java/piggybank.jar' pigdata = load '/xml1.xml' using org.apache.pig.piggybank.s

0열

1답변

NameNode가 시작될 때 SAFEMODE에 보관되는 이유는 무엇입니까?

은 내가 네임 노드이 몇 분 동안 시작될 때 언젠가 자동으로 writemode을 제공 한 후, 내 질문은 왜 몇 분 동안과 (데이터를 HDFS에 쓸 수없는 의미) SAFEMODE받고 있음을 알게되었다 NameNode은 시작시 SAFEMODE입니다.

2열

1답변

Java Mapreduce 정렬 합성 값

텍스트 (과일 이름) 키와 사용자 정의 복합 값 city : count를내는 맵퍼가 있습니다. 나는 감속기가 어느 도시가 가장 높은 카운트를 가지고 있는지 신속하게 결정할 수 있도록 감속기에 도착하기 전에 계산 된 값으로 그 합계 값을 정렬하려고합니다. 복합 값 클래스는 WritableComparable의 확장이며 개수 및 도시를 검색하는 메서드를 포함합니

0열

1답변

우리는 HDFS 파일 시스템

에서 데이터 노드의 크기를 지정할 수 있습니까? 나는 수평 확장성에 영향을 미친다는 것을 알고 있습니다.