hadoop-streaming

0열

2답변

Hadoop Streaming Command Failed Job이 실패했습니다.

저는 Hadoop streaming with Python을 사용하는 초보자입니다. 나는 대부분의 참고 문헌에서 설명 된 단어 수의 예제를 성공적으로 실행할 수있었습니다. 그러나 필자가 작성한 작은 파이썬 스크립트로 시작했을 때 코드의 기능이 아무 것도 아니지만 오류를 표시합니다. 명령의 실행에 에러 부분이었다가 at java.util.concurrent.T

1열

1답변

여러 개의 python 파일로 Hadoop 스트리밍

나는 하 웁 스트리밍 작업을하고 있습니다. 이 일은 다른 python 스크립트를 가져 오는 python 스크립트를 사용합니다. 이 명령은 명령 줄에서 제대로 작동하지만 hadoop 스트리밍을 사용할 때 실패합니다. 여기 내 하둡 스트리밍 명령 hadoop jar $streamingJar \ -D mapreduce.map.memory.mb=4096

-1열

1답변

파일을 더 작은 하위 파일로 분할하여 메모리에서 읽을 수 있도록지도 축소 작업을 구현하는 방법

지도 축소 작업을 파이썬으로 작성하려고합니다. 첫 번째 매퍼가 파일을 여러 개의 하위 파일로 분할합니다. 그리고 감속기는 동일한 파일에 대한 manupulation을 수행하고 그것을 결합합니다 첫 번째 맵에서 파일을 무작위로 분할하고 쓰는 방법은 os 모듈을 사용하고 분할 명령을 사용하여 분할하려고 생각했지만 혼동 만약 내가 30 부분을 가정 해 분할한다면

0열

1답변

Ozzie 워크 플로 예제

Oozie를 이해하는 데 문제가 있습니다. 나는 그것을 달리고있다 그러나 나가 발견 한 문서 및보기는 명확하지 않다. 누구든지 나를 도와 줄 수 있습니까? 나는 각각의 기존 출력 디렉토리와 로그를 삭제하기 위해 4 개 또는 5 개의 스트림 스트리밍 작업을 보유하고 있습니다. hadoop fs -rm -r /user/vm/video-output /tmp/lo

0열

2답변

oozie 워크 플로에서 변수를 만들고 설정하는 방법은 무엇입니까?

Oozie 워크 플로에서 변수를 설정하는 방법은 무엇입니까? 예를 들어 워크 플로 here에는 $ {output} 변수가 있지만 어디에 설정합니까? '출력'은 특별한 단어입니까? 그렇다면 어떻게 내 자신의 변수를 만들 수 있습니까? 업데이트 : Java가 아닌 Python으로 스트림을 사용하고 있습니다.

2열

2답변

문자 배열을 데이터 프레임으로 변환하는 쉬운 방법

나는 감속기에서 값을 문자 배열로 사용하는 Hadoop 스트리밍과 함께 R을 사용하고 있습니다. 각 요소는 문자열이며 char (2) 002 이 경우. 문자열을 세 개의 필드로 나누고 데이터 프레임을 만드는 쉬운 방법이 있습니까? 내가 한 일은 여기 있었지만, 다시 설계 한 것 같은 느낌이 들었습니다. inputarray <- c("20130806\0021

4열

2답변

R 쉘에서 패키지 설치

R을 사용하여 Hadoop Streaming 용 감속기를 구현하려고합니다. 그러나 R, dplyr..etc 등의 내장 라이브러리가 아닌 특정 라이브러리에 액세스하는 방법을 알아야합니다. (1) 감속기 코드에서, 그들은 다음과 같이 세션이 완료되면 배치 될 임시 폴더에 필요한 라이브러리를 설치하고 : .libPaths(c(.libPaths(), temp <-

0열

1답변

HadoopStreaming R in reducer Fail

나는 mappers가 Python으로 작성된 단순한 데이터 정리와 R을 사용하는 특정 시계열 분석을 실행하려는 감속기 부분 인 hadoop 스트리밍 작업을 작성하고 있습니다. 그러나 실제로 그렇게 쉬운 것은 아닙니다. mapreduce 작업 자체를 디버그하고 필자는 키와 값이 무엇인지 인식하고 수정되지 않은 결과를 출력하는 방식으로 내 감속기를 작성했습니다

1열

1답변

Hadoop streaming KeyFieldBasedPartitioner

freebase 덤프 (제목, 별칭, 유형 이름)에서 avro로 데이터를 추출 중입니다 (아직이 작업에 포함되지 않음). 나는 파이썬으로 스트리밍하는 mapreduce를 사용하고있다. 이 직업 감속기는 유형 제목 (일반적으로 모든 객체 제목)과 객체에 대한 유형 ID 참조를 기대합니다. 기록의 형태는 다음과 같습니다 common.topic%title Top

-1열

1답변

Hadoop 작업을 Spark로 변환

다음 Hadoop 작업을 Spark로 마이그레이션하려고합니다. public class TextToSequenceJob { public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException { Job jo