mrjob

3열

1답변

MRJob : socket.error : [Errno 104] 동료에 의한 연결이 재설정되었습니다.

요약하면 : "socket.error : MRJob을 사용하는 동안 [errno 104] 연결이 연결 해제 됨"예외입니다. 스크립트는 실제로 버킷 생성 및 일부 작은 파일 (AWS 콘솔을 통해 수동으로 확인)을 업로드하기 때문에 S3에 액세스 할 수 있습니다. 하지만 가장 큰 파일 인 INPUT은 업로드되지 않습니다. 이봐, 그것은 단지 7GB의 테스트 데

0열

1답변

mrjob - 소스 디렉토리의 자동 타르

mrjob을 사용하여 Amazon EMR 작업을 만들었습니다. 내 맵리 듀스 작업은 내가 쉽게 분석하고있어 아파치 로그, 내가 여러 맵리 듀스 작업 사이에 공유되는 상속 클래스의 내 분석을 위해 공통의 헬퍼 클래스에서 상속, 그래서 이것은 내 파일 구조입니다 : __init__.py count_ip.py (mapreduce job) common/apac

2열

2답변

s3distcp 오류

가 내가 EMR 작업에 s3distcp를 사용하려고 해요 "인수 '--arg은'일치하지 않습니다"이 예외를 가지고 : Exception in thread "main" java.lang.RuntimeException: Argument --arg doesn't match. at emr.hbase.options.Options.parseArguments

0열

2답변

EMR에서 mrjob에 데이터 파일을 포함시키는 방법은 무엇입니까?

아마존의 EMR에서 mrjob을 실행하려고합니다. 인라인 러너를 사용하여 로컬에서 작업을 테스트했지만 Amazon에서 실행하면 실패합니다. 나는 외부 데이터 파일 zip_codes.txt에 의존하여 실패를 좁혔다. 하드 코드 된 우편 번호 데이터를 사용하여 종속성없이 실행하면 정상적으로 작동합니다. 업로드 파일 인수를 사용하여 필요한 데이터 파일을 포함하려

0열

1답변

mrjob Python 프로그램의 main 문이 한 줄의 코드 만 허용하는 이유는 무엇입니까?

mrjob 프로그램의 실행 시간을 알고 싶습니다. 그러나 전후에 MRWord.run()을 넣은 경우 unindent does not match any outer indentation level 오류가 발생하며 이에 대한 문서를 찾을 수 없습니다. 내가 뭘 놓치고 있니? from mrjob.job import MRJob class MRWord(MRJob)

3열

2답변

python map 키릴 문자로 간단한 단어 수를 줄입니다.

MRJob을 사용하여 아주 기본적인 단어 수를 구현하려고합니다. 모든 아스키 입력으로 잘 작동하지만 내가 입력에 키릴 단어를 혼합 할 때, 나는 출력으로 같은 것을 얻을 "\u043c\u0438\u0440" 1 "again!" 1 "hello" 2 "world" 1 는 지금까지 내가 이해, 위의 첫 번째 행은 키릴 단어의 인코딩 된 하나의 사건이다

0열

1답변

mrjob 매퍼 감속기를 사용하여 파이썬에서 반복을 작성할 수 있습니까? 카운터는 루프에서 계산의 일부입니까?

매퍼 (mapper)와 감속기 (reducer)를 반복하는 프로그램이 있습니다. n 번 연속합니다. 그러나 각 반복에 대해 각 키 - 값 쌍의 매퍼는 n에 종속 된 값을 계산합니다. from mrjob.job import mrjob class MRWord(mrjob): def mapper_init_def(self): self.co

2열

2답변

파이썬에서 mapreduce를 사용하지 못했습니다.

저는 python mrjob을 사용하여 mapreduce 프로그램을 배우려고합니다. dumping stdin to local file /tmp/pyes_mrjob.testuser.20131004.103251.998597/STDIN Making directory hdfs:///user/testuser/tmp/mrjob/pyes_mrjob.user.20131

0열

1답변

hadoop 러너 만드는 법?

I는 라인으로 큰 파일의 라인을 판독하고, 각 행에서의 동작을 수행하고 출력 인쇄 다음 간단한 mrjob 스크립트 가지고 #!/usr/bin/env python from mrjob.job import MRJob class LineProcessor(MRJob): def mapper(self, _,

4열

1답변

mrjob을 사용하여 파이썬 파일을 실행할 때 "WindowsError [Error5] Access is denied"가 나타나는 이유

mrjob을 파이썬 파일로 사용하고 명령 줄에서 실행하려고하지만 오류 로그가 계속 나오고 있습니다. : C:\Users\Ni\Desktop>python si601lab6_sol.py pg1268.txt no configs found; falling back on auto-configuration no configs found; falling back o