elastic-map-reduce

1열

1답변

안녕하세요. 이상한 일이 생겼습니다. EMR로 java-MapReduce 작업을 실행합니다. 데이터는 약 1T 였고 1 개의 마스터 + 8 개의 슬레이브를 사용했습니다. 모든 인스턴스는 r2.2xlarge입니다. 처음에는 모든 것이 다음과 같은 미세 같습니다 그러나 INFO mapreduce.Job: map 0% reduce 0% INFO mapreduc

0열

4답변

HDFS에서 읽고</p> <p>모두 매퍼의 출력은 HBase를

매퍼는() 2) 국가 국가의 통계를 정렬 사용자가 방문한 두 곳 1) 기사에서 파일을 읽고 현명한 (국가)에 쓰기 문자, 문자 나는 두 개의 서로 다른 세트에서 아마존 클러스터의 내 목표는 읽기 데이터를 프로그램을 실행하고 HBase와의 결과를 결합하여 보관하고 있습니다. HDFS to HDFS가 작동 중입니다. 코드는 67 %를 줄이는 붙어 및 17/02

0열

1답변

AWS EMR S3DistCp : auxService : mapreduce_shuffle이 존재하지 않습니다.

SSH를 통해 AWS EMR v5.4.0 인스턴스에 연결되었으며 s3distcp를 호출하려고합니다. This link는 설정에 EMR 단계를 호출하는 방법을 보여줍니다,하지만 난 그것을 실행할 때 나는 다음과 같은 오류가 발생합니다 : Container launch failed for container_1492469375740_0001_01_000002 :

1열

2답변

EMR Spark에서 JDBC로드가 처음 실패한 다음 작동합니다.

AWS Elastic Map Reduce 5.3.1에서 Spark 2.1.0과 함께 spark-shell을 사용하여 Postgres 데이터베이스에서 데이터를로드합니다. loader.load은 항상 실패한 다음 성공합니다. 왜 이런 일이 일어 났을까요? [[email protected][SNIP] ~]$ SPARK_PRINT_LAUNCH_COMMAND=1 s

0열

1답변

AWS 서비스 역할

내가 다음 코드를 사용하여 이클립스에서 EMR 클러스터를 실행하기 위해 노력하고있어 : 내가 선 "withServiceRole ("EMR_DefaultRole를 제거하면 Exception in thread "main" java.lang.NoSuchMethodError: com.amazonaws.services.elasticmapreduce.model.Run

0열

1답변

AWS Elasticsearch : 여러 인덱스와 유형을 검색하기위한 URL 인코딩

AWS elasticsearch를 사용하고 AWS 서명 V4를 사용하여 인스턴스와 통신합니다. 색인을 생성/검색하는 간단한 쿼리가 정상적으로 작동합니다. 하지만 여러 인덱스와 여러 유형을 검색 할 수 있어야하는 기능을 원합니다. 그래서 내 URL이된다 : http://my_aws_es_instance/index1,index2/type1,type2 자사의 A

0열

2답변

여러 인덱스와 여러 유형에 대해 쿼리 할 수있는 탄성 검색 검색

신축성 검색에 초보자입니다. AWS 탄성 검색 인스턴스 5.1.1을 사용하고 있습니다. 검색 작업을 위해 Elasticsearch의 요청 본문에 여러 인덱스와 유형을 지정해야하는 요구 사항이 있습니까? 가장 간단한 방법은 무엇입니까? 미리 감사드립니다.

2열

1답변

AWS EMR 사용자 정의 jar 응용 프로그램에서 추가 jar 지정

EMR 클러스터에서 hadoop 작업을 실행하려고합니다. 그것은 jar-with-dependencies을 사용하는 Java 명령으로 실행 중입니다. 이 작업은 Teradata에서 데이터를 가져오고 Teradata 관련 jar도 jar-with-dependencies 내에 포함되어 있다고 가정합니다. Exception in thread "main" java.

1열

1답변

YARN이 응용 프로그램 마스터 컨테이너에 대해 마스터 노드를 사용하도록 할 수 있습니까?

YARN이 각 태스크에서 AM을 위해 임의의 슬레이브 노드를 사용하기 때문에 Hadoop/Spark가 실행되는 동안 내 큰 ol 마스터 노드 하드웨어가 실제로 아무 것도하지 않습니다. 나는 옛날 하둡을 더 좋아한다. 일이 잘못되었을 때 로그 쫓기와 ssh 통증이 많이 피 렸습니다. 가능합니까?

0열

1답변

AWS EMR 클러스터에서 리소스를 확보하는 방법은 무엇입니까?

AWS EMR 클러스터를 시작하고 SSH를 통해 로그인 한 다음 spark-shell을 실행하여 일부 스파크 코드를 테스트하고 가끔씩 인터넷 연결이 끊어지면서 퍼티가 연결이 끊어진 오류를 throw하는 일반적인 문제가 있습니다. 하지만 스파크 관련 프로세스가 아직 실행중인 것으로 보입니다. 내가 서버에 다시 연결하고 다시 spark-shell을 실행하면,