hadoop2

0열

1답변

실패한 작업이 중단 된 입력 파일의 지점에서 새 Hadoop 작업이 다시 시작되도록 보장 할 수 있습니까?

Hadoop 2.7.2를 실행 중입니다. 10 개의 Hadoop 작업이 실행 중이며 각 작업이 1 개의 HDFS 입력 텍스트 파일을 처리한다고 가정 해 보겠습니다. 작업 중 하나가 실패하면 HDFS 입력 파일 file05의 566 행을 읽는다고 가정 해 봅시다. 기본적으로 어떤 일이 발생합니까? Hadoop의 두 번째 작업 시도가 file05의 567 행에

0열

1답변

YARN을 사용하여 Hadoop Cluster에 애플리케이션을 설치하는 방법은 무엇입니까?

나는 얀을 배우려고 노력하고 있습니다. 그러나 나는 장애물에 부딪쳤다. 몇 가지 질문이 있습니다. 모든 응용 프로그램에 대해 데이터 노드에는 각각 컨테이너가 있어야합니다. 그러나 이러한 컨테이너는 응용 프로그램을 실행하는 동안 또는 응용 프로그램을 만들 때 필요합니까? 도커에서 별도의 시스템으로 작동하는 컨테이너에 액세스 할 수 있습니다. 비슷한 방법으로

2열

4답변

Hadoop Map-Reduce : 상태에 대해 알 수있는 것 : mappers : 80 %, reducers : 20 %

면접시 질문 사항 : 상태에 대해 알 수있는 내용 : mappers : 80 %, reducers : 20 % ? 저의 이해는 그 상태에 도달하는 것이 불가능하다는 것입니다. 감속기가 작업을 시작하기 전에 모든 매퍼가 실행을 완료해야합니다. 모든 키 - 값 쌍을 수집하고 키별로 그룹화하십시오. 맞습니까?

0열

1답변

제출 된지도 축소 작업에서 원사 applicationId 가져 오기

지도 작성 작업에서 원사 응용 프로그램 ID를 가져올 수 있어야합니다. 내가 할 API를 찾을 수 없습니다. 내 맵리 듀스 작업의 예 : Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.clas

0열

1답변

HDFS 파일을 외장 드라이브에 매핑 할 때 오류가 발생했습니다.

hadoop-2.7.3에서 실제로 외장 (usb-thumb) 드라이브에있는 폴더를 만들고 싶습니다. 즉, -copyFromLocal이있는 파일이 상주 할 것입니다. 엄지 드라이브. 내가 하둡 로컬 폴더를 만들 경우에만 작동 .. mkdir /media/usb mount /dev/sdb1 /media/usb hdfs dfs -mkdir /media/usb

0열

1답변

hadoop 슬레이브의 username @ hostname을 다른 것으로 유지하고 싶습니다.

hadoop-2.7.3 다중 노드 클러스터를 설정 중입니다. 슬레이브 노드를 추가하기 위해 슬레이브 파일과 /etc/hosts 파일을 편집했습니다. 또한 그들에게 ssh 패스 키를 추가했습니다. start-dfs.sh을 실행 한 후 hadoop이 [email protected]에 연결됩니다. 그게 바로 여기까지입니다. 그러나 이제 [email protect

0열

1답변

SQOOP : 게시 DB로 내보내기 전에 입력 데이터 사용자 정의

입력 데이터를 hdfs에서 sqoop를 통해 postgress db로 내보내려고합니다. 입력 데이터가 postgress 테이블과 함께 적절한 형식 일 때이 작업을 수행 할 수 있습니다. 하지만 DB에 내보내기 전에 입력 데이터에 일부 연산을 수행하고 싶습니다. 입력하기 전에 각 값에 일부를 더하고 싶다고 말하면됩니다. 그래서 Sqoop을이 peform받는

0열

1답변

Hadoop의 이름 노드에서 metdata를 누가 업데이트합니까?

HDFS의 경우 이름 노드에서 메타 데이터가 업데이트되는 방식을 기록합니다. 일단 클라이언트가 데이터 노드에 데이터를 씁니다. 데이터 노드 또는 HDFS 클라이언트는 이름 노드의 메타 데이터를 업데이트합니다.

0열

1답변

Hadoop에서 HDFS 용 데이터 노드의 이름 노드 업데이트 가용성은 어떻게됩니까?

복제 요소가 3이고 파일 크기가 150이고 블록 크기가 64 인 데이터 노드가 10 개 있습니다. 따라서 파일은 B1, B2, B3. 따라서 클라이언트는 B1 노드를 작성하기위한 데이터 노드의 가용성을 Name 노드에 요청합니다. 내 질문은 얼마나 많은 데이터 노드가 B1 노드를 작성하기 위해 이름 노드에 의해 클라이언트에 제공 될지입니다. 그리고 또 하나

1열

1답변

누가 hadoop에서 블록에 대한 블록 ID를 만들 것입니까?

hadoop에서 HDFS 클라이언트 또는 이름 노드의 블록 ID를 누가 만들 것인지 알고 싶습니다. 알려주세요.