amazon-kinesis

0열

1답변

RDS PosgreSQL 데이터베이스에서 Redshift 데이터베이스 만들기

내가하고있는 일은 완전한 AWS 설정을 가지고 있습니다. Amazon Redshift 데이터 허브로 이동하려는 Amazon RDS PostgreSQL 데이터베이스가 있습니다. 것은, 나는 완전히 어디로 가야할지 모르겠다. 나는 Redshift 설정과 보안에 대한 적절한 설정을했지만, 내 인터넷 검색이 나를 벽으로 이끌었습니다. 도와 주실 수 있습니까? Po

-1열

1답변

HTTP Endpoint를 눌러 putRecords를 Kinesis Stream에 넣으시겠습니까?

HTTP 헤더를 사용하여 Kinesis Stream에 데이터를 추가하고 일부 헤더와 데이터를 지정하려고합니다. API 게이트웨이 -> AWS 서비스 프록시 -> Kinesis Stream을 통해 가능하다는 것을 알고 있습니다. API 게이트웨이를 사용하고 싶지 않습니다. 또한 KPL 라이브러리를 사용하고 싶지 않습니다. 작업은 Tibco 서비스에 끝점을 제

-2열

1답변

Amazon Kinesis Stream은 Java Stream과 어떻게 비교됩니까?

Kinesis Stream에서 일부 비디오를 읽고보고 있습니다. 응용 프로그램 및 실시간 분석에서 데이터 스트리밍이 가능하다는 것을 알고 있습니다. API 연결 또는 TCP 연결로 인해 Java 스트림과 어떤 관련이 있습니까? Java 스트림을 사용하여 Kinesis Stream을 다시 만들 수 있습니까? Kinesis Stream vs Java Strea

3열

1답변

MySQL에서 Redshift에 가까운 실시간 ETL

MySQL에서 데이터를 추출하고 변환하여 거의 실시간으로 Redshift에로드하는 가장 효율적인 방법을 찾아 내려고합니다. 현재 우리는 하룻밤 ETL 프로세스 (Pentaho 사용)를 가지고 있으며 ~ 40 분이 남았고 거의 실시간 (미니 배치 1-5 분)으로 교체하려고합니다. 나는 AWS Kineses에 커넥터 MySQL의 바이너리 로그 (예 : http

0열

1답변

Boto3 읽기 운동성 스트림이

boto3의 문서 요청에 , 당신은 시간의 임의의 점에서 레코드를 읽을 수있는 샤드 반복자 타입 AT_TIMESTAMP를 지정할 수 있음을 언급, TRIM_HORIZON는 ShardIterator 가리하게하는 시스템의 샤드에서 마지막으로 트리밍되지 않은 레코드 (샤드의 가장 오래된 데이터 레코드) 또는 가장 최근의 샤드의 데이터를 항상 읽도록합니다. 이다

0열

2답변

계산 장치 초

나는 운동성 분석 실험을하고있어 그것으로 많은 문제를 해결하지만, 실제로 붙어 한 다음 을 실제로 장치가 켜져있을 때 반영 레코드 스트림을 reading 분야에서 오프에 대한에 대한 I 1 사용하고 device_id | timestamp | reading 1 | 2011/09/01 22:30 | 1 1 | 2011/09/01 23:00 | 0 1 | 201

1열

1답변

레코드를 버리는 방법?

AWS Kinesis에 이벤트를 보내고 AWS 람다 함수에 의해 처리됩니다. 그러나 람다에서 오류가 발생하면 레코드는 삭제되지 않고 반복 처리되어 새로운 레코드의 처리를 차단합니다. 오히려 잘못된 레코드를 건너 뛰고 새 레코드를 소홀히하고 싶습니다. 어떻게하는지 이해가 안됩니다. 람다 함수는 예외를 포착하므로 실행 오류가 없어야합니다. 아래는 python

1열

1답변

Kinesis와의 Spark Structured Streaming 통합

Spines Structured Streaming과의 Kinesis 통합이 안정적인지 파악하려고합니다. AWS Big Data 블로그에는 Kinesis 및 Spark Structured Streaming에 관한 블로그는 거의 없습니다. 어떤 사람이 Spark Structured Streaming과 Kinesis을 시도했는지 알고 싶습니까? 그렇다면 안정적

0열

1답변

Amazon Kinesis - 사용 및 샤드 시간

우리 팀은 Amazon Kinesis를 사용하여 다른 데이터 세트의 쿼리 결과를 자체 S3 버킷에 출력합니다. Google에서 검색어를 자주 실행하지는 않았지만 결제 콘솔에서 12 월에만 24,000 시간의 샤드 시간을 사용하고있는 것으로 나타났습니다. 파편이 실제로 실전 중이거나 키프 레스가 이미 존재하고있을 때 Kinesis가 요금을 청구하는 사람이 있

0열

1답변

S3 버킷과 dynamoDB간에 대용량 파일을 위해 Amazon Kinesis를 사용할 수 있습니까?

소스에서 S3 버킷으로 파일을 가져옵니다. 텍스트 파일의 크기는 1 ~ 100MB입니다. 파일에서 몇 가지 내용을 추출하여 dynamoDB에 써야합니다. 지금까지 구현은 S3 버킷으로 들어오는 파일이 람다를 트리거하고, 파일을 처리하여이를 dynamoDB에 씁니다. 지금까지는 그렇게 좋았지 만 문제가 있습니다. 문제는 내가 S3로 들어오는 파일의 속도를 제