hadoop

8열

2답변

Pig: 0.8.1-cdh3u2 Hadoop: 0.20.2-cdh3u0 경고를 디버깅하는 중입니다.하지만 개별 경고를 어디에서나 인쇄 할 수는 없습니다. -w 또는 aggregate.warnings=false 스위치를 통해 집계를 비활성화하면 요약 메시지가 제거되지만 실제 경고도 제거되므로 어떤 유형 변환이 실패했는지 알 수 없습니다. 이 실행을 위해

1열

2답변

클러스터의 노드 당 tasktracker 수는 어떻게 설정합니까?

우리는 tasktracker 당 map/reduce 작업의 수를 설정할 수 있지만 클러스터의 노드 당 tasktrackers 수는 어떻게 설정합니까? 노드마다 하나 이상의 tasktracker를 실행할 수 있도록 보안을 어떻게 해제합니까? hdfs-site.xml에서 dfs.permissions를 false로 설정하는 것으로 충분합니까? 아룬

1열

3답변

색인에서 권한이 잘못된 문자 : hdfs : // localhost : 9000 with hadoop

hdfs에 연결하려고합니다. Configuration configuration = new Configuration(); configuration.set("fs.default.name", this.hdfsHost); fs = FileSystem.get(configuration); hdfsHost는 127.0.0.1:9000입니다. 하지만이 예외는 Fi

6열

1답변

잘못된 키 클래스 : 문제가 있다는 것이다 텍스트

이 바보 같은 질문처럼 보일 수도 IntWritable 아니라, 질문에 명시된 바와 같이 나는 하둡 내 맵리 듀스 코드 내 유형의 문제를보고 실패 IntWritable을 기대하지만 감속기의 collector.collect에 Text 객체를 전달하고 있습니다. 내 직업 구성은 다음 매퍼 출력 클래스가 있습니다 conf.setMapOutputKeyClass(I

0열

1답변

Hadoop을 사용하여 임의로 큰 데이터 세트를 정렬하는 방법은 무엇입니까?

내 질문은이 게시물 Sorting large data using MapReduce/Hadoop과 관련이 있습니다. 임의로 설정 한 정렬의 내 생각은 다음과 같습니다 우리는 기록에 큰 파일을 가지고, 10^9 기록을 말한다. 파일이 M 매퍼로 분할됩니다. 각 매퍼는 크기의 분할 즉, QuickSort를 사용하여 10000 개의 레코드를 정렬하고 정렬 된 하위

1열

1답변

돼지에서 앨리어스를위한 이터레이터를 열 수 없습니다.

돼지 (하둡 모드)에서 몇 가지 실험을하고있었습니다. 나는, HDFS에 a A 1 b B 2 c C 3 a AA 11 a AAA 111 b BB 22 HDFS를 샘플 데이터를로드 : // #######/데이터/하나 가 그럼 난 툴툴 쉘에 로그인, 나는 ls을 발사했다. hdfs에서 파일을 볼 수 있습니다. 데이터를로드했습니다. data =

1열

1답변

Hadoop MapReduce로 이미지 처리

을 사용하고 SAD 메트릭을 사용하여 비디오 시퀀스의 두 프레임 사이에 motion estimation에 대한 프로젝트를 수행하고 있습니다. 이는 기준 프레임의 각 블록과 윈도우 크기에서 후보 프레임의 각 블록 사이의 SAD를 계산하여 두 프레임 사이의 모션 벡터를 얻는 것을 포함합니다. Map Reduce를 사용하여 동일한 기능을 구현하고 싶습니다. 키

3열

1답변

실패 후 hadoop namenode dirs가 동기화됩니까?

이 시나리오에서 일어나는 상황은 다음과 같습니다. 네임 노드는 두 개의 다른 드라이브에있는 두 개의 디렉토리에 쓰기 중 하나는 로컬이고 다른 하나는 원격 (원격)으로 마운트됩니다. 이제 namenode가 실패하고 원격 시스템에서 namenode 프로세스를 시작합니다 (원래 namenode 데이터의 복사본이 있으므로 안전합니다). 그리고 모든 datanode

1열

2답변

하둡지도 출력 IOException이

는 I 3 개 간단한 수업을 이 오류 : java.io.IOException: Type mismatch in value from map: expected org.hadoop.test.data.util.Container, recieved org.hadoop.test.data.WeightedEdge at org.apache.hadoop.mapred.MapTa

4열

1답변

Hadoop의 매우 큰 키 값 쌍

저는 Hadoop의 새로운 기능이며 프로그램의 현재 복잡성은 단어 수의 복잡성으로 제한됩니다. 하둡의 기본 아키텍처를 이해하려고 노력하고 있으므로 솔루션을 더 잘 설계 할 수 있습니다. 큰 질문 중 하나는 Hadoop이 블록 경계에서 큰 키 값 쌍을 어떻게 처리합니까? 크기 값이 10MB 인 키 값 쌍이 있다고 가정합니다 (예 : 값이 전체 10MB 파일