amazon-emr

0열

1답변

Zeppelin이 z.input 동적 형식에서 정규 표현식을 확인하지 못했습니다.

EMR에서 실행중인 scala apache 노트북에 문제가 있습니다. var d1 = z.input("date (yyyy-mm-dd)", "12-25-2016") println(d1) println(d1.getClass) 반환 : 그래서 다음을 수행 var d1 = "2016-12-26" var datePattern = "[0-9]{4}-[0-9]

0열

1답변

목록 파일 스칼라 EMR HDFS (CSV 파일 누락)

나는 다음과 같은 방법을 통해 EMR의 HDFS의 디렉토리에있는 모든 파일을 나열하려합니다 : val directory = new File(directoryPath) val fileStatusListIterator: RemoteIterator[LocatedFileStatus] = FileUtils.fs.listFiles(new Path(directoryP

3열

1답변

Amazon Emr - 코어 노드가있을 때 Task 노드가 필요합니까?

안녕하세요, 저는 최근에 아마존 EMR에 대해 배웠고, 제 지식에 따르면 EMR 클러스터를 사용하면 3 개의 노드를 선택할 수 있습니다. NameNode, Job Tracker 및 Resource manager와 같은 기본 Hadoop 데몬을 실행하는 Master. 데이터 노드 및 Tasktracker 데몬을 실행하는 코어. TaskTracker 만 실행하

0열

1답변

pyspark EMR 5.x에서 Java로 작성된 하이브 UDF를 실행하면 오류가 발생합니다.

java로 작성된 하이브 UDF가 있고 pespark 2.0.0에서 사용하려고합니다. 아래의 단계 1. 복사 EMR 2. jar 파일은 pyspark --jars ip-udf-0.0.1-SNAPSHOT-jar-with-dependencies-latest.jar 3. UDF가 from pyspark.sql import SparkSession from p

-1열

1답변

AWS에서 데이터베이스 자격 증명 관리 EMR 스팟 문제

정기적으로 다양한 작업을 수행하기 위해 EMR 클러스터를 스핀 업/셧다운합니다. 이러한 작업에는 원격 데이터베이스에 연결하고 데이터를 읽거나 쓰는 작업이 포함됩니다. 이러한 데이터베이스 (주소, 사용자 이름, PW 등)에 연결하려면 다양한 연결 매개 변수가 필요합니다. 자동화 된 작업에서 부트 스트래핑하는 동안 EMR 클러스터에 이러한 데이터베이스 자격 증

0열

1답변

로컬 클러스터 에서처럼 EMR에서 작업을 실행할 수 있습니까

랩톱에 로컬 클러스터를 구축했습니다 (의사 모드). 내가 hadoop-streaming -D mapred.output.compress=true \ -D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \ -files my_mapper.py,my_reducer.

1열

1답변

AWS 데이터 파이프 라인 구성 EMR 클러스터 실행 스파크

누군가 도와 드릴 수 있습니까? 나는 이것을 정확하게하려고 노력하고있다. AWS 콘솔에서 데이터 파이프 라인 구성 내에서 Spark 설치로 EMR 환경을 만들 수 없습니다. 'EMR 클러스터에서 작업 실행'을 선택하면 EMR 클러스터는 항상 스파크가 아닌 기본적으로 돼지 및 하이브로 만들어집니다. 나는 여기에 말했듯이 내가 부트 스트랩 작업으로 스파크를 선

3열

1답변

AWS EMR 마스터 노드의 기본 aws-sdk jar 무시

EMR 마스터 노드에서 내 응용 프로그램을 실행하는 데 문제가 있습니다. 버전 1.11에 추가 된 일부 AWS SDK 메소드에 액세스해야합니다. 필요한 모든 의존성은 뚱뚱한 항아리에 번들로 묶여 응용 프로그램은 내 devbox에서 예상대로 작동합니다. 그러나 앱이 EMR 마스터 노드에서 실행되면 메서드를 호출 할 때 NoSuchMethodError 예외로

-1열

4답변

pySpark : 값 % % pyspark

이 내가 webbroswer에서 Zepplin 노트북을 열고 %pyspark 에 입력 한 노트북을 만들어와 내가 함께 Zepplin 노트북과 EMR에 불꽃 클러스터를 사용하고 GET 오류 <console>:26: error: not found: value % %pyspark Zepplin에서 어떻게 pyspark를 사용할 수 있습니까? 나는 여기서

0열

1답변

요청 헤더에서 sse 및 key-id를 언급 할 필요없이 EMR에서 S3의 데이터를 암호화하는 방법은 무엇입니까?

Amazon S3 SSE-S3 Enabled를 사용하여 EMR 클러스터를 만들었습니다. 또한 나는 킬로미터로 암호화 내 데이터를 저장할 것 aws s3 cp /home/hadoop/test.csv s3://my-bucket/enc/ --sse aws:kms /key-id- here-/ 이를 S3하기 위해 다음과 같이 내 데이터를 쓰고 있어요,하지만 싶