amazon-emr

1열

1답변

AWS EMR의 Spark (현재 m4.xlarge 마스터 인스턴스와 2 개의 m4가있는)에서 처리하려고하는 s3의 대형 (약 85GB 압축) gzipped 파일이 있습니다. 100GB EBS 볼륨이있는 10 개의 대형 코어 인스턴스). gzip은 분할 할 수없는 파일 형식이고, I'veseenitsuggested 압축 파일을 다시 분할해야한다는 점을 알고

1열

1답변

오류 : 찾을 수 없음 : EMR의 값 sqlContext

EMR에서 Spark 2를 사용 중입니다. 마스터 노드로 ssh를 실행하고 spark-shell을 실행하면 sqlContext에 액세스 할 수 없습니다. 내가 빠진 것이 있습니까? [[email protected] ~]$ spark-shell Setting default log level to "WARN". To adjust logging level u

0열

1답변

Amazon EMR, 색조 설정 암호가 작동하지 않습니다.

색조 페이지에 처음 액세스 할 때 암호를 설정했습니다. 로그 아웃하여 색조에 로그인 시도했습니다. Http://<"amazon emr url">:8888/accounts/login 잘못된 사용자 이름 및 비밀번호가 표시됩니다. 왜 내가이 문제에 직면 했는가

0열

1답변

sqlcontext를 사용하여 스파크 할 병렬 쿼리

EMR에서 스파크를 발생시켜 ETL을 실행하려고합니다. S3에는 gzip 된 json 라인으로 약 2000 만 건의 이벤트가 있습니다. 그들은 총 약 30 파일입니다. 나는 pyspark를 사용하고있다. 이 그래서, 우리는 사건의 약 30 종류가 있고 각 이벤트에 대해 내가 시간, 일, 월, 년 4 조합에서 집계하고있어, def value_to_list(c

0열

1답변

emrfs가 s3 url의 사용자 정의 쿼리 매개 변수를 지원합니까?

고객 검색어 매개 변수를 s3 url에 추가 할 수 있습니까? 우리는 S3 객체에 일부 사용자 지정 메타 데이터를 추가하고 싶습니다하지만 EMRFS에 투명하고 싶은 같은 뭔가 : S3 : // 버킷 이름/객체 이름 X -amz - 메타 태그 = 마법 태그 우리의 PySpark 또는 하둡 작업의 다음 , 우리가 쓰고 싶습니다 data.write.csv를 ('

1열

2답변

sqoop 가져 오기를위한 Oozie 워크 플로가 Amazon emr hue에서 실패합니다.

mysql에서 하이브 시스템으로 sqoop 가져 오기를 수행하는 워크 플로우를 만들었습니다. sqoop 작업 생성을위한 My Sqoop 작업이 성공적으로 실행되지만 MySQL에서 하이브로 가져 오기 작업을 실행하려고 할 때 실패합니다. 여기에 로그를 첨부했습니다. sqoop - 하이브 가져 오기 (실패한 sqoop 작업)는 두 단계로 이루어집니다. 먼저 내

1열

1답변

AWS CLI를 통해 돼지 프로그램을 제출할 때 S3 파일 위치를 지정하는 곳

나는 클러스터를 만들고 AWS CLI를 통해 돼지 단계를 제출합니다. PIG 스크립트와 스크립트 입력 파일은 모두 S3 버킷에 저장됩니다. 예를 돼지 스크립트 : REGISTER file:/usr/lib/pig/lib/piggybank.jar; DEFINE XPath org.apache.pig.piggybank.evaluation.xml.XPath();

2열

1답변

가공 (OSM) Spark의 PBF 파일

OSM 데이터는 PBF 형식으로 제공됩니다. 특수 라이브러리 (예 :이 데이터를 구문 분석하기위한 https://github.com/plasmap/geow)가 있습니다. 이 데이터를 S3에 저장하고 데이터를 EMR 작업의 일부로 RDD에 구문 분석하려고합니다. 이것을 달성하는 간단한 방법은 무엇입니까? 파일을 마스터 노드에 가져 와서 로컬에서 처리 할 수

3열

1답변

Cloud Formation 템플릿의 EMR 클러스터에 mapreduce.reduce.memory.mb 속성을 추가하는 방법은 무엇입니까?

EMR이 컴퓨터 유형에 따라 클러스터에 제공하는 기본값을 수정하는 방법을 살펴 보았습니다. 내 경우에는 m4.large을 마스터로 사용하고 c3.2xlarge을 코어로 사용하고 작업은 동일합니다. 작업의이 속성에 대해 EMR이 설정하는 값은 2880 (http://docs.aws.amazon.com/ElasticMapReduce/latest/Develope

1열

1답변

Amazon EMR - 프로그램을 실행할 수 없습니다. <path> ./mapper.js ": 오류 = 2, 해당 파일이나 디렉토리가 없습니다.

Amazon EMR 작업에 Nodejs를 사용하고 있습니다. 파일을 변경하여 UNIX 라인 엔딩을 사용하려고했지만 여전히 . 작동하지 여기에 오류가 : - 여기 2016-11-27 09:16:53,794 INFO [main] org.apache.hadoop.streaming.PipeMapRed: PipeMapRed exec [/mnt1/yarn/userca