amazon-emr

1열

1답변

multi-lined inputs에 대한 레코드 경계 문제를 처리하는 것으로 가정되는 사용자 지정 MyInputFormat이 있습니다. 그러나 MyInputFormat을 내 UDF로드 기능에 넣었을 때. 다음과 같이 : import org.apache.hadoop.mapreduce.InputFormat; public class EccUDFLogLoader

1열

2답변

hadoop에서 mapreduce를 사용하여 큰 파일 읽기

FTP 서버에서 파일을 읽고이를 HDFS에 기록하는 코드가 있습니다. 입력 isSplitablefalse 같이 속성을 설정하는 사용자 지정 InputFormatReader 구현했습니다. 그러나이 다음 오류가 발생합니다. INFO mapred.MapTask: Record too large for in-memory buffer 내가 데이터를 읽는 데 사용하

2열

1답변

Amazon EMR 작업이 실패했습니다. 단계가 실패하면 종료됩니다.

아마존 EMR에서 실행되는 Python을 사용하여 간단한 스트리밍 맵 축소 작업을 작성하고 있습니다. 이것은 기본적으로 각 사용자 ID에 대한 항목을 함께 그룹화하는 사용자 레코드의 집합 자입니다. 매퍼 #!/usr/bin/env python import sys def main(argv): line = sys.stdin.readline() try:

0열

2답변

Java를 사용하여 FTP에서 로컬로 파일을 다운로드하면 파일을 읽을 수 없습니다. 인코딩 문제

FTP에서 매우 큰 파일을 읽고 Java를 사용하여 로컬 컴퓨터에 코드를 작성하는 코드를 개발했습니다. 그 코드는 다음과 같습니다. 이것은 쓰기가 끝난 후, 나는 전송이 수행되며 대상에서 파일의 크기가 소스에서와 동일하다고 볼 수있는 CustomInputFormat if(!processed) { System.out.print

4열

1답변

아마존의 s3fs EMR : 약 1 억 개의 작은 파일로 확장됩니까?

이미 묻는 다음 질문을 참조하십시오 : Write 100 million files to s3 및 Too many open files in EMR 여기에 처리되는 데이터의 크기는 4-5TB 주위이어야합니다. 정확하게 말하면 - gzip 압축으로 300GB. 이 단계가 시간이 지남에 따라 데이터를 집계함에 따라 점진적으로 입력 크기가 커집니다. 예를 들어 12

9열

1답변

hdfs의 파일 경로

Hadoop File System에서 파일을 읽고 싶습니다. 올바른 파일 경로를 얻으려면 호스트 이름과 포트 주소가 hdfs이어야합니다. 9000 : 그래서 마지막으로 파일의 내 경로는 호스트 이름 = "123.23.12.4344"& 포트를 추출 알고 Path path = new Path("hdfs://123.23.12.4344:9000/user/filen

0열

1답변

탄성 맵 DynamoDB 오류로 JSON 내보내기 오류를 줄입니다. AttributeValue에 빈 문자열이 포함되어 있지 않을 수 있습니다.

S3의 JSON 파일에서 EMR 작업을 사용하여 데이터를 가져 오려고합니다. ios_os 필드 및 android_os 중 하나만 데이터를 포함합니다. 때로는 데이터가 null로, 때로는 빈 문자열입니다, (나는 인구가 희박한 일부 레코드를 삽입 할 수 있어요하지만) 나는 오류를 받고 있어요 DynamoDB의에 삽입하려고 할 때 :는 "의 AttributeV

0열

1답변

getSplits를 구현하여 hadoop 맵 작업을 늘리는 방법

여러 줄로 된 CSV 파일을 처리하려고하는데이 파일에 custom CSVInputFormat을 썼습니다. 각 hadoop 노드에서 약 40 개의 스레드가 CSV 라인을 처리하고 싶습니다. : 나는 5 개 기계 (1 개 마스터와 4 개 코어)와 아마존 EMR에서 클러스터를 만들 때, 나는 6 개 가능한지도 슬롯이있는 경우에도, 단지 2 맵 작업이 실행 얻

1열

1답변

Sqoop을 사용하여 하이브 테이블 내보내기 일부 행은 구분되지 않습니다.

(Amazon Elastic MapReduce JobFlow에서) 하이브를 사용하여 테이블을 생성했습니다. 데이터가 hdfs:///mnt/hive_081/warehouse/[table name]에 있음을 알 수 있습니다. 나는 (아무것도 변경하지 않고) jq에 Sqoop을 싸서 테스트를 위해 마스터 노드에 업로드했다. 나는 같은 내 Sqoop을 항아리를 실

0열

1답변

하이브 작업이 종료되고 쿼리 실행()이 계속됩니다.

hive-jdbc-0.7.1-cdh3u5.jar을 사용하고 있습니다. 가끔 실패하는 EMR에서 실행되는 메모리 집약적 인 쿼리가 있습니다. 내가 작업 추적기를 볼 때 나는 쿼리가 살해 된 것을보고 나는 다음과 같은 오류를 참조하십시오 때 java.io.IOException : 그러나 137 의 제로가 아닌 상태로 작업 프로세스 종료, 하이브 JDBC 드라이