aws-glue

2열

1답변

S3에서 yyyy/mm/dd/hh로 파티션 된 많은 수의 이벤트가 있습니다. 모든 파티션에는 약 80,000 개의 원시 텍스트 파일이 있습니다. 모든 원시 파일에는 JSON 형식의 약 1.000 이벤트가 있습니다. datasource0 = glueContext.create_dynamic_frame.from_catalog(database=from_databa

0열

1답변

AWS 스펙트럼 AWS 접착제로 생성 된 쪽매 파일에 대한 공백 결과 제공

AWS Glue로 ETL을 작성합니다. 쿼리 성능을 최적화하기 위해 데이터를 아파치 쪽 마루에 저장합니다. 데이터가 마루판 모양으로 S3에 저장되면 우리는 AWS 스펙트럼을 사용하여 해당 데이터를 쿼리합니다. 개발 AWS 계정에서 전체 스택을 성공적으로 테스트했습니다. 그러나 AWS 계정으로 이전했을 때 우리는 별난 문제에 처해있다. 쿼리 할 때 행은 반환

0열

1답변

암호화 정책이있는 S3 버킷에 aws-glue 스크립트를 저장할 수 없습니다.

AES 암호화가 포함 된 S3 버킷에 aws-glue 스크립트를 저장할 수 있습니까? 우리는 AES 암호화를 시행하는 버킷 정책을 가지고 있습니다. 암호화되지 않은 파일은 업로드 할 수 없습니다. 간단한 aws-glue 작업을 만들 때 암호화가있는 버킷에 스크립트를 저장할 수 없습니다. { "service": "Amazon S3", "st

2열

1답변

AWS Glue ETL 작업이 AnalysisException과 함께 실패합니다. u''Perquet에 대한 스키마를 유추 할 수 없습니다. 그것은 수동으로 지정해야합니다.; '

S3에 저장된 마루 파일의 데이터를 적색 변경 테이블에로드하는 AWS Glue ETL 작업을 생성하려고합니다. '단순한'파일 스키마 옵션이있는 팬더를 사용하여 삼각형 모양의 여러 폴더에 마루 파일을 작성했습니다. 레이아웃은 다음과 같습니다 S3 : //bucket/parquet_table/01/file_1.parquet S3 : //bucket/parque

2열

1답변

AWS Redshift에서 S3로 데이터 추출 예약

Redshift에서 데이터를 추출하고 S3 버킷에 동일한 데이터를 쓰는 작업을 작성하려고합니다. 지금까지 AWS Glue를 살펴 보았지만 Glue는 redshift에서 맞춤 sql을 실행할 수 없습니다. 언로드 명령을 실행할 수 있고 S3에 직접 저장할 수 있다는 것을 알고 있습니다. AWS에서 매개 변수화되고 예약 될 수있는 솔루션을 찾고 있습니다.

1열

1답변

AWS Glue - "GlueArgumentError : 인수 - 입력 _ 파일 _ 경로가 필요합니다"

나는 pyspark 스크립트 (풀 작업)를 작성하고 cli 명령을 사용하여 EC2 인스턴스를 실행하려고 시도합니다. aws glue start-job-run --arguments 나는 인수 목록을 전달하고있다). 위의 cli 명령을 사용하여 인수를 전달하는 짧은 구문과 json 구문을 시도했지만 오류가 발생했습니다. "GlueArgumentError : 인

2열

1답변

AWS 접착제 :

AWS 접착제 문서에 대한 가격은 읽는 ETL 작업에 DPUs의 수를 줄이는 방법 : 접착제의 ETL 작업이 2 DPUs의 최소 필요합니다. 기본적으로 AWS Glue 은 10 개의 DPU를 각 ETL 작업에 할당합니다. DPU-Hour 당 $ 0.44로 1 분 단위로 반올림하여 가장 가까운 분으로 반올림하고 각 ETL 작업의 최소 지속 시간은 10 분입니

1열

2답변

AWS Glue에서 순수 Python 외부 라이브러리를 사용할 때 HDFS의 사용 권한 오류

AWS Glue에서 외부 Python 라이브러리 (psycopg2)를 가져온 실패했지만 실패한 사용자 정의 Python 스크립트를 실행하려고했습니다. 내가 CloudWatch 로그를 확인하고 그 이유는 다음과 같습니다 : Spark는 HDFS의 여러 폴더에 대한 사용 권한 확인에 실패했습니다. 그 중 하나에 S3에 업로드 된 외부 파이썬 라이브러리가 포함되

0열

1답변

aws Glue 스크립트에서 저장 프로 시저 호출

ETL 작업이 완료된 후 AWS Glue 스크립트에서 저장 프로 시저를 호출하는 가장 좋은 방법은 무엇입니까? 나는 S3에서 데이터를 가져 와서 스테이징 테이블에 저장하기 위해 PySpark를 사용하고 있습니다. 이 프로세스가 끝나면 저장 프로 시저를 호출해야합니다. 이 저장 프로시 저는 스테이징 테이블의 데이터를 적절한 MDS 테이블로로드합니다. ETL

5열

1답변

AWS Glue Crawler Not Table 만들기

성공적으로 완료 한 후 데이터 카탈로그에 테이블을 만들지 않는 AWS Glue에서 생성 한 크롤러가 있습니다. 크롤러를 실행하는 데 약 20 초가 걸리고 로그에 성공적으로 완료 되었음이 표시됩니다. CloudWatch에서 로그를 보여줍니다이 벤치 마크 : 크롤러에 대한 크롤링 시작을 실행이 벤치 마크 : DB에 분류 전체, 쓰기 결과는 벤치 마크 : 완료