hadoop2

2열

2답변

HDFS의 Do 블록에 Hadoop에 바이트 오프셋 정보가 저장되어 있습니까?

나는 단일 파일이 300MB 인 것을 고려하십시오. block 크기는 128MB입니다. 그래서 입력 파일은 다음 청크로 나누어지고 HDFS에 저장됩니다. Block1: 128MB Block2: 128MB Block3: 64MB. 이제 각 블록의 데이터에는 byte offset 정보가 들어 있습니까? 즉, 블록에 다음과 같은 offset 정보가 있습니

7열

1답변

원 사는 yarn.nodemanager.resource.cpu-vcores를 기려하지 않습니다

저는 Hadoop-2.4.0을 사용하고 있으며 시스템 구성은 24 코어, 96GB RAM입니다. 나는 다음과 같은 CONFIGS mapreduce.map.cpu.vcores=1 yarn.nodemanager.resource.cpu-vcores=10 yarn.scheduler.minimum-allocation-vcores=1 yarn.scheduler.

0열

2답변

발견 된 인터페이스 org.apache.hadoop.mapreduce.jobcontext하지만 다른 클래스가 잘 작동 할 때 한 클래스에 대한 클래스 예상 오류

MapReduce 클래스 하나가 잘 작동하는 동안 동일한 구조의 다른 클래스 (Tool, getConf() 등의 사용 - '발견 된 인터페이스 org.apache.hadoop.mapreduce.jobcontext하지만 클래스가 예상 됨'오류로 실패합니다. 이 문제를 해결하기 위해 제가 반드시 알아야 할 특정 장소는 무엇입니까? 그냥 어떤 도움/단서에 대한

1열

4답변

Hadoop : 데이터 노드가 시작되지 않음

CentOS 6.5 시스템에 Hadoop 버전 2.2를 설치했지만 start-dfs.sh 명령을 사용할 때. 내 데이터 노드가 마스터 및 슬레이브 PC에서 시작되지 않습니다. 데이터 노드에 대한 로그를 첨부하고 있습니다. <i> 2014-07-14 17:22:07,797 INFO org.apache.hadoop.hdfs.server.datanode.Dat

0열

1답변

AWS SWF 사용시 문제가 발생했습니다.

Amazon 간단한 워크 플로우 서비스를 처음 사용합니다. EMR에서 swf 워크 플로를 실행할 수있는 방법이 있습니까? AWS CLI를 설치하고 hadoop을 부트 스트랩하여 클러스터를 불러올 수 있습니다. 이 문서와 웹상의 문서에 대한 충분한 문서를 찾지 못했습니다. AWS CLI 대신 SWF를 사용하여 EMR 클러스터를 부팅 할 수있는 변경이 있습니까

-1열

1답변

네이티브 hadoop 라이브러리를로드 할 수 없습니다. hadoop-src를 빌드 할 때

[오류] 목표 org.apache.maven.plugins를 실행하지 못했습니다. maven-antrun-plugin : 1.7 : 프로젝트에서 실행 (make) hadoop-common : Ant BuildException이 발생했습니다. exec가 반환했습니다. 1 [ERROR] Ant 부분 ......... @ 4 : 144 in /home/shubh

1열

1답변

HDFS 원자 이름 변경 파일 시스템 종속성

스택 오버플로 및 hadoop 2.x 문서에 대한 기타 질문은 HDFS 이름 바꾸기 작업이 원자 적이라고 설명합니다. 이름 바꾸기의 자성 파일 시스템 구현에 의존한다는 참고 : 그러나 하둡 2.X 문서는 다음을 말한다. 자세한 소스의 파일 시스템 문서를 참조하십시오 : Hadoop 2.x FileContext documentation는 그 문구는 기본 파일

0열

1답변

하둡 입력 분할 덤프

특정 작업이 실패하면이 작업이 실행되는 입력 분할의 덤프를 가져와 입력 및 원격 디버그 부분에서 로컬로 작업을 실행할 수 있습니까?

-1열

1답변

호출 세부 레코드의 데이터를 처리 할 수 있도록 hadoop을 구현해야합니까?

HDFS, 데이터 노드 및 namenode 및 hbase를 구성했습니다. CDR csv 파일을 HDFS에 저장했습니다. 어떻게 Hbase과 매핑하고 처리 할 준비가 되었습니까?

3열

3답변

은 HDFS에 저장하기 위해 블록으로 분할 된 파일입니까?

HDFS의 블록 시스템은 기본 파일 시스템의 맨 위에있는 논리 파티션이라는 것을 알고 있습니다. 그러나 cat 명령을 실행하면 파일이 검색됩니다. 제가 1GB 파일이 있다고 가정 해 봅시다. 내 기본 HDFS 블록 크기는 64MB입니다. 나는 다음과 같은 명령을 실행하십시오 ( hadoop -fs copyFromLocal my1GBfile.db input/