hadoop2

0열

1답변

sequenceInput 및 출력 파일을 사용하여 hadoop 프로그램을 작성하는 방법은 무엇입니까?

안녕하세요 여러분 모두 시퀀스 파일 입출력 파일을 사용하여 hadoop 프로그램을 작성하고 싶습니다. 나는 job.setOutputFormatClass(SequenceFileOutputFormat.class)을 설정하는 tryed하지만 EOFException 원인 : 나는 프레임으로 비디오를 깰 xuggler와 HVPIhttps://github.com/xm

0열

1답변

hadoop conf 객체를 만들 때 Hadoop 환경에서 실행되는 코드가 독립 실행 형 Java 코드 인 경우에도 마찬가지입니까?

코드에서 Hadoop conf 객체를 사용하는 경우 코드에 hadoop 연산이 없더라도 Hadoop 환경 또는 일반 환경에서 실행되는 모든 코드가 있다는 것을 이해해야합니다. 필자는 stand alone java 모듈을 작성하고 정상적인 연산을 수행했지만 데이터에 내장 된 Hadoop 압축을 적용하고 정상 위치에서만 데이터를 저장하기 위해 Hadoop co

-1열

1답변

beeline에서 그룹에 역할을 부여 할 수 없습니다.

beeline에서 AD 그룹에 역할을 부여하려고합니다. 나는 아래의 오류에 직면하고있다. 다른 사람이 같은 문제를 겪은 경우 문제 해결 단계를 제안 해주세요. 당신이 포기하지 않았다 많은, 많은, 많은 중요한 정보의 GRANT ROLE role_test1 TO GROUP test1; Error: Error while processing statement:

3열

1답변

Accumulo MapReduce 작업이 AccumuloRowInputFormat을 사용하여 java.io.EOFException과 함께 실패합니다.

내 모든 맵퍼가 다음 예외와 함께 실패합니다. 나는 마지막으로 간결함을 보여주지 못했습니다. 왜 이런 일이 벌어지고 어떻게 해결할 수 있습니까? 16/09/21 17:01:57 INFO mapred.JobClient: Task Id : attempt_201609151451_0044_m_000002_2, Status : FAILED java.io.EOFEx

0열

1답변

하이브 1.2의 alter table을 통해 파티션을 복구 할 수 없습니다

하이브 1.2에서 ALTER TABLE MY_EXTERNAL_TABLE RECOVER PARTITIONS;을 실행할 수 없습니다. 그러나 대체 MSCK REPAIR TABLE MY_EXTERNAL_TABLE을 실행하면 하이브 메타 저장소에없는 파티션을 나열하고 추가하지 않습니다 . hive-exec의 소스 코드를 기반으로 org/apache/hadoop/h

0열

1답변

Hadoop 설치 문제

우분투를 사용하여 oracle 가상 박스에 hadoop을 설치하면 모든 것이 정상적으로 작동합니다. 그러나 브라우저에서 localhost : 50070을 실행할 때 namenode 상태는 유지되지만 레거시 UI 옵션은 표시되지 않습니다.이 옵션을 통해 파일 시스템을 탐색 할 수 있습니다. 왜 그런가?

0열

2답변

원사의 nodemanager 및 app 마스터 역할에 대한 혼란이

일 수 있습니다. YARN에서 노드 관리자 및 앱 마스터의 역할에 대해 설명해주십시오. 노드 관리자는 노드에서 작업을 시작하고 추적하는 역할을 담당하며, 응용 프로그램 마스터는 컨테이너에서 작업을 시작하고 자원 관리자와 자원을 협상합니다. 이 정보가 맞는지 확실하지 않습니다. 틀렸을 때 정정하십시오. 는 사실상 사전

0열

1답변

돼지 스크립트는 AWS는 ELB

내가 돼지이 ELB 로그를 분석하려고 로그 분석하고 나는 성공적으로이 스크립트 사용하여 분석 할 수 있어요 +++++++++++++++ ++++++++++++++++++++++++++++++++++++++++++++++++++ + + + + + + + + + 2016-07-16T00 : 00 : 41.700161Z testelb 11.11.17.2:5088

-1열

1답변

위장 핑 호스트 호스트 이름

Cent OS 6.x 가상 머신을 사용하여 설치된 Hadoop 클러스터를 구성하려고합니다. 먼저 단일 노드 Hadoop 클러스터를 구성하여 클러스터를 복제하고 나중에 정적 IP 주소를 구성하도록 구성했습니다. 내 가상 Hadoop 클러스터의 경우, if30f-eth0은 현재 아래처럼 보입니다. DEVICE=eth0 TYPE=Ethernetle UUID=

0열

1답변

맵 축소 API에서 감속기의 출력 제한

mapreduce 프로그램에서 내 감속기의 출력은 1 백만 라인의 출력을 생성하지만 초기 3 개의 출력 라인 만 있으면됩니다. 그리고 그것은 내가 본 Reducer 클래스의 인스턴스 변수를 유지하고 있는데, 얼마나 많은 레코드를 봤는지 계산하고, 3 초 후에는 출력을 멈 춥니 다.하지만 여전히 감속기는 1 백만 레코드를 모두 통과해야합니다. 내 코드의 성능