hadoop-streaming

0열

1답변

누군가가 dfs에 큰 파일을 저장 한 후 읽는 것을 경험하고 있는지 알고 싶습니다. 예를 들어 나는 하나의 객체를 다른 인스턴스로 기술하는 수천 개의 레코드를 갖고 싶습니다. 예를 들어, 객체를 설명하는 다음 클래스 구현이 있습니다. class someclass { attr1 attr2 attr3 .... } 클래스

0열

2답변

카운트 (*) 및 하이브

에서와 마찬가지로이 나는, COUNT (*)를 참조 전체로 저장하고 나중에 참조하기 위해 노력하고 있지만, 예를 들면 위해 을 작동하지 않습니다 :이 select ((count(*) as total)-count(a)), (total - count(b)), (total - count(c)) from table; 무엇이 잘못 되었

-2열

1답변

hadoop 병렬 처리 예제 또는 문서

저는 Hadoop을 처음 사용하기 때문에 기본적인 시작 예제를 찾을 수 없으므로 필요한 시작을 얻을 수 있습니다. 이 질문에 맞는 장소인지 아닌지는 모르겠지만 관련 전문가가 저를 도울 수 있다고 생각합니다. 예제 나 문서로이 문제를 해결하십시오. 사전에 덕분에 Pawan

0열

2답변

AWS에서 스트리밍 python map-reduce를 사용하여 stdin을 통해 Hadoop 시퀀스 파일을 읽을 수 없습니다.

아마존의 Elastic Map Reduce에서 map-reduce 작업을 수행하는 간단한 단어를 실행하려고하지만 출력이 헛 스럽습니다. 입력 파일은 hadoop 시퀀스 파일 인 common crawl 파일의 일부입니다. 파일은 크롤링 된 웹 페이지에서 추출 된 텍스트 (html에서 제외됨)로 간주됩니다. 내 AWS 엘라스틱 맵리 듀스 단계는 다음과 같습니다

0열

1답변

MapRed java에서와 같이 hadoop 스트리밍에서 설치 작업 개념이 있습니까?

필자는 매퍼와 감속기를 R 스크립트로 작성하고 있습니다. 여기에 Rscript Mapper에서 하나의 파일을 읽으려고합니다. 스트리밍 맵을 빨간색으로 구성하여 각 maptask가 아닌 한 번만이 파일을 읽을 수있는 방법이 있습니까? 내가 hadoop 자바에 대한 개념 매퍼 개체에서 설정 작업을 재정 의하여 통해 얻을 수 이해합니다.

0열

1답변

HDFS 시스템 내에서 옥타브 출력 이미지를 가져 오는 방법

나는 옥타브 이미지 처리 프로그램을 구현했습니다. Hadoop 환경에서 실행해야합니다. 내가 hadoop 스트리밍 병 파일을 사용하고 있습니다. 예를 들어, $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar -mapper /usr/OT/octavebash.sh -file /usr/OT/octave

0열

1답변

hadoop 스트리밍을 사용하는 BWA 도구

짧은 뉴클레오티드 서열을 참조 게놈에 매핑하는 생물 정보 도구 (알고리즘). BWA (Burrows-Wheeler Aligner) Hadoop Streaming을 사용하여 BWA를 실행하려고 시도했지만 오류가 발생했습니다. 명령 : hadoop/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-

5열

2답변

Hadoop이 실행 중이더라도 작업 추적기에 내 작업을 표시하지 않습니다.

문제 : hadoop 2.2.0 클러스터에 작업을 제출하면 작업 추적자 에 나타나지만 작업이 성공적으로 완료됩니다. . 이것으로 출력을 볼 수 있으며 출력이 올바르게 실행되고 출력이 실행 중일 때 출력됩니다. 나는 여러 옵션을 시도했지만 작업 추적자가 작업을보고 있지 않습니다. 2.2.0 hadoop을 사용하여 스트리밍 작업을 실행하면 작업 추적기에 나타나

0열

1답변

flume gzip 파일 전송

gzip 파일을 hdfs로 전송하고 싶습니다. 내가 탐색하고있는 옵션은 spooldir입니다. spooldir의 원격 위치를 지정하는 데 문제가 있습니다. 제안 사항은 다음과 같습니다. agent1.sources = src-1 agent1.channels = c1 agent1.sinks = k1 agent1.sources.src-1.type = sp

1열

1답변

주변의 들판을 운반하거나 상점에 가입하고 가입 하시겠습니까?

돼지를 사용하는 Hadoop에서 필자는 몇 개의 개별 소스에 많은 수의 필드를 가지고 있는데, 이는 몇 개의 Java UDF를 통해로드, 필터, 프로젝트, 그룹, 실행, 프로젝트 및 저장을 수행합니다. (Hadoop에서는 일상 생활입니다.) 원래 데이터로드의 일부 필드는 UDF에서 사용되지 않았으므로 최종 저장소까지 필요하지 않습니다. 사용하지 않은 필드를