aws-glue

0열

2답변

엑셀 testFile.xlsx 파일, 그것은 아래처럼 보이는이있어 : ID ENTITY STATE 1 Montgomery County Muni Utility Dist No.39 TX 2 State of Washington WA 3 Waterloo CUSD 5 IL 4 Staunton CUSD 6 IL 5 Berea City SD OH 6 City

0열

1답변

AWS Glue에서 R 스크립트를 실행할 수 있습니까?

AWS Glue 작업에서 R 스크립트를 호출 할 수 있습니까? 매개 변수도 전달해야합니다.

1열

3답변

AWS Glue를 사용하여 하나의 S3 폴더에서 다른 S3 폴더로 파일을 복사 할 수 있습니까?

하나의 AWS S3 폴더에서 다른 파일로 압축 파일을 복사해야하며 스케줄 된 AWS Glue 작업을하고 싶습니다. 그런 간단한 작업에 대한 예를 찾을 수 없습니다. 대답을 알면 도와주세요. 대답은 AWS Lambda 또는 다른 AWS 도구에있을 수 있습니다. 대단히 감사합니다!

2열

2답변

AWS Glue의 성능을 향상시키는 방법은 무엇입니까?

AWS에서 25 분 이상 걸리는 간단한 작업이 있습니다. DPU의 수를 10 개에서 100 개 (허용되는 최대 값)로 변경했지만 작업에는 여전히 13 분이 소요됩니다. 성능 향상에 대한 다른 제안 사항이 있으십니까?

1열

2답변

AWS Glue의 간단한 ETL 작업에서 "파일이 이미 있습니다"라고 말합니다.

우리는 거대한 데이터 프로젝트에 대해 AWS Glue를 평가 중입니다. 일부 ETL이 있습니다. S3에서 CSV 파일을 올바르게 가져 오는 크롤러를 추가했습니다. 처음에는 해당 CSV를 JSON으로 변환하고 파일을 다른 S3 위치 (동일한 버킷, 다른 경로)에 놓기 만하면됩니다. AWS에서 제공 한대로 스크립트를 사용했습니다 (여기에 맞춤 스크립트 없음).

2열

1답변

AWS Glue가 구조체를 동적 프레임으로 변환

AWSGlue에 조금 익숙합니다. 나는 AWSGlue로 csv로 raw cloudwatch json을 변환하는 작업을하고 있습니다. 변환 스크립트는 꽤 간단하지만 문서 및 예제는 포괄적이지는 않습니다.가 { "Label": "RequestCount", "Datapoints": [ { "Timestamp": "2017-07-23T00:

0열

1답변

AWS 분할 된 테이블에서 읽기 및 분할 된 테이블에 쓰는 접착제

사례가 간단합니다. 나는 s3에 20 TB의 raw csv 비 압축 데이터를 가지고 있는데, 그 파티션 폴더 구조는 10 년 동안 10 개의 파티션 (각 파티션은 2TB)입니다. 이 데이터를 마루판 형식 (압축 된 압축)으로 변환하고 비슷한 파티션/폴더 구조를 유지하려고합니다. 나는이 데이터를 파티션별로 쿼리하고 나중에 원시 csv 데이터를 제거하는 데 사

1열

1답변

책갈피가있는 경우에도 AWS 글루는 매번 소스에서 대상으로 전체 데이터를 복사합니다.

aws 글루 콘솔의 마법사에서 글루 작업을 생성했습니다. 작업 생성시 기본 스크립트를 변경하지 않았습니다. 그것은 posgres 데이터베이스 테이블 (소스)에서 데이터를 가져 와서 다른 postgres 데이터베이스 (대상)에 씁니다. ide에서 북마크 사용을 선택했습니다. 태스크가 실행될 때마다 소스에 삽입, 갱신 또는 삭제가 없을 때라도 전체 소스 데이터

1열

1답변

Boto3 Athena가 BOTO3 python을 사용하여 Athena Table에서 테이블 이름 목록을 얻으려고 시도하는 중

모든 테이블을 표시하지 않습니다. 이것은 내 코드입니다. 나는 페이징기에 대한 나의 시도가 정확하지 않다고 생각한다. 도움이 필요합니다 import boto3 client = boto3.client('glue') responseGetDatabases = client.get_databases() databaseList = responseGetDatab

0열

2답변

AWS Glue create API를 통한 트리거

다양한 작업에 대한 일정이 적은 표가 있습니다. 레코드를 처리하고 AWS Glue API를 통해 트리거를 생성하고 싶습니다. http://docs.aws.amazon.com/glue/latest/dg/aws-glue-api.html 위의 링크는 문서 AWS 접착제 갈 보여줍니다. API 사용 방법에 대한 코드 스 니펫을 제공 할 수있는 사람이 있습니까? 인