hadoop

0열

1답변

awo에서 hadoop 액세스 s3에 대한 질문이 있습니다. <property> <name>fs.default.name</name> <value>s3n://testhadoophiveserver</value> </property> <property> <name>fs.s3n.awsAccessKeyId</name> <value>I have fill

0열

1답변

hadoop-streaming : 보류 중 상태의 작업을 줄이면 "작업을 줄일 여지가 없습니다."라고 표시됩니다.

내지도 작업이 성공적으로 완료되고 응용 프로그램 로그를 볼 수 있지만 감속기가 보류 상태로 유지됩니다. 축소 작업을 볼 때 All Task Attempts No Task Attempts found hadoop-hduser -jobtracker-master.log에서 다음과 같이 표시됩니다. 2011-10-31 00:00:00,238 WARN org.

1열

1답변

HDFS에 쓰기 : 파일을 덮어 씁니다.

hadoop 파일 시스템에 쓰고 있습니다. 그러나 내가 추가 할 때마다 기존 데이터/파일에 데이터를 추가하는 대신 데이터를 덮어 씁니다. 이 작업을 수행하는 코드는 다음과 같습니다. 이 코드는 여러 데이터에 대해 반복해서 호출됩니다. 문제가 발생할 때마다 새로운 SequenceFile.Writer를 여는 중입니까? 내가 새 경로 ("someDir")로 경로

0열

1답변

은 ssh를 사용하여 클라이언트와 통신 할 수 없습니다.

Hadoop 클러스터를 설정하려고하지만 ssh를 사용하여 슬레이브 시스템에 액세스 할 수 없습니다. 그러나 localhost.i로 ssh 할 수는 있지만 passphraseless method.i를 시도했습니다. Hadoop에 완전히 익숙하지 않으며 ssh를 사용하지 않으므로 내 실수를 파악할 수 없습니다. 클라이언트에 대해 ssh를 실행할 때마다 클라이언

1열

1답변

Oozie를 사용하여 계단식 실행하기

Oozie를 사용하여 계단식 작업을 실행하려고합니다. cascading.tap.hadoop.MultiInputSplit 내가 워크 플로우 lib 디렉토리에있는 계단식 단지를 포함하고 하지만, 캐스 케이 딩은 m/R 작업을 실행 할 때 포함되지 않는 : 은 내가 java.lang.ClassNotFoundException가 무엇입니까. Oozie와 함께 계단식

1열

2답변

하둡 스트리밍의 하위 호환성

AFAK, 하둡 스트리밍은 텍스트 입력 만 지원합니다. 즉, 데이터는 라인별로 구성됩니다. 그러나 우리가 이전 버전과의 호환성을 원한다면 매퍼 코드가 엉망이 될 것입니다. C++로 작성한 동일한 매퍼 프로그램에서 다른 버전의 로그 라인을 지원합니다. 나는 avro 또는 protobuf를 고려해 보았지만 스트리밍 모드에서는 지원되지 않는 것 같습니다. 사실입

2열

4답변

하둡으로 웹 분석 개발

아파치 액세스 로그를 구문 분석하여 웹 트래픽 (페이지 조회수, 방문수, 방문수 등)에 대한 집계 된 데이터를 생성하기 위해 웹 분석 플랫폼을 개발하고 싶습니다. 하둡 및 순수 맵/축소 작업에서만 할 수 있습니까? 하이브를 사용하기에는 너무 잔인합니까?

0열

1답변

hadoop-streaming : 작업량을 줄이면 입력 크기가 줄어 듭니다. 그것을 고치는 방법?

나는 JobTracker를 로그에 다음을 참조하십시오 011-11-02 10:04:09,595 WARN org.apache.hadoop.mapred.JobInProgress: No room for reduce task. Node tracker_worker1:localhost/127.0.0.1:52295 has 62087933952 bytes free; bu

2열

1답변

거대한 비디오 및 로그 파일을 처리 된 데이터로 저장하는 가장 좋은 아키텍처는 무엇입니까?

연구 프로젝트입니다. 매일 로트 비디오를 녹화하고 로그 데이터가있는 메타 데이터는 시맨틱 모델, RDF 또는 OWL에 저장됩니다. 비디오는 서버에서 다운로드하거나 처리하는 데 사용됩니다. 매일 우리는 많은 데이터를 추가 할 것입니다. 최상의 스토리지 솔루션은 무엇입니까? 일부 옵션 Hbase를 사용하십시오. 바이너리 파일은 HDFS에 저장됩니다. Hbase

0열

1답변

Cloudera CDH3의 볼륨은 50 노드입니까

무료 버전은 제한된 노드 50 개만 지원합니다. 하나의 컴퓨터에 10T 2T 하드 디스크를 사용하는 경우. 즉, 10 * 2 * 50 = 1000T 1000T 데이터를 저장할 수 있습니까? 감사합니다.