amazon-data-pipeline

1열

1답변

현재 Datapipeline의 HadoopActivity 작업을 사용하여 EMR 클러스터에서 병렬 스파크 작업을 실행 중입니다. 기본적으로 최신 버전의 EMR 클러스터는 스파크 동적 할당을 true로 설정하여로드를 기반으로 필요한 실행 프로그램의 수를 늘리거나 줄입니다. 그렇다면 스파크 제출과 함께 다른 속성을 설정해야합니다. 코어, executor 메모리

0열

1답변

로드 소품 내가 사용하여 내 스파크 응용 프로그램에서 사용자 정의 속성을로드하려고

EMR 스파크 응용 프로그램에서 파일 - 그러나 command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{in

0열

1답변

Spark에서 실행 프로그램 환경 변수 설정

spark-defaults 분류 [http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-spark-configure.html]]을 사용하고 다음 속성을 제공합니다 : - spark.yarn.appMasterEnv.FOO = "foo"을 사용하여 얀 마스터에 환경 변수를 설정합니다. 이러한 변수가 executor

0열

1답변

aws 데이터 파이프 라인에서 여러 s3 버킷에 대한 전제 조건을 설정하는 방법은 무엇입니까?

데이터 파이프 라인의 전제 조건을 설정하여 s3 버킷이 있는지 확인하고 그렇지 않은 경우 실패 할 수 있습니까? 1 버킷을 쉽게 설정할 수 있지만 여러 S3keys를 확인하기 위해 파이프 라인을 업데이트하는 방법을 알 수는 없습니다. 여기 는 지금까지이 작업은 다음과 같습니다 { "objects": [ ... { "stage"

1열

1답변

AWS 데이터 파이프 라인 emr 활동 단계에서 쉼표 이스케이프

aws 웹 콘솔에 제공된 아키텍트를 사용하여 aws 데이터 시스템을 생성합니다. emrcluster가 구성되었고 성공적으로 시작되었습니다. 그러나 나는 다음과 같은 문제를 가로 질러 와서 EMR 활동 제출하려고 할 때 내 요구 사항은 3 개 패키지 하지만 지금까지 같은과 --packages 인수를 제공하는 것입니다 EMR 활동의 단계 섹션에 을 감수성 단계

1열

1답변

지원되지 않는 속성은 암호

나는 RdsDatabase 객체를 갖는 DataPipeline 자원을 포함하는 CloudFormation 스택 템플릿을 가지고 * : AWSTemplateFormatVersion: '2010-09-09' Resources: ProUsageReportsPipelineStg: Type: AWS::DataPipeline::Pipeline

0열

1답변

실패시 aws 데이터 파이프 라인을 자동으로 다시 실행하는 방법은 무엇입니까?

aws 데이터 파이프 라인을 만들었지 만 cron 일정으로 실행하면 실패합니다. 내가 사용하고있는 파이프 라인 정의가있는 AWS forum에 대한 자세한 게시물을 가지고 있습니다. 질문 : 실패시 자동으로 파이프 라인을 다시 실행할 수 있으므로 수동으로 로그인하고 다시 실행할 필요가 없습니다. 덕분에, 어니스트

0열

2답변

주문형 실행을위한 AWS 데이터 파이프 라인 가격

AWS 데이터 파이프 라인 문서는 데이터 파이프 라인 가격 정책에 대한 다음 정보를 제공합니다. 높은 주파수 활동 - 월 $ 1.00 낮은 주파수 활동 - 월 $ 0.60 비활성 파이프 라인 - 한달에 $ 1.00 고주파 활동은 하루에 한 번 이상 실행 예정 것들이다; 예를 들어 매시간 또는 12 시간마다 실행되도록 예약 된 활동은 빈도가 높습니다. 저 빈

0열

1답변

Amazon Redshift에서 테이블 간 데이터 전송

AWS Redshift에서 table1에서 table2로 데이터를 처리하고 업데이트/추가하는 방법은 무엇입니까? 데이터가 S3에서 table1로로드 될 때마다 테이블 간의 데이터 전송이 자동으로 수행되어야합니다. 표 1 데이터는 AWS Data Pipeline을 통해 AWS S3에서 복사됩니다.

0열

1답변

AWSDatabaseMigrationService 오류 : 인증 자격이 없음

S3에서 Redshift로 데이터를 복사하도록 AWS DMS를 설정하려고합니다. AWSDatabaseMigrationService: Cannot change the engine for endpoint with no authentication credentials 이 오류가 무엇을 의미합니까 : 나는 테스트를 실행할 때 소스 엔드 포인트 (S3)의 구성의 경