amazon-kinesis

0열

2답변

현재 Golang 버전에 간단한 Kinesis 클라이언트 라이브러리 (KCL)를 작성 중입니다. 내 간단한 KCL을 위해 원하는 기능 중 하나는 여러 레코드 프로세서와 EC2 인스턴스에 분산 된 샤드를로드하는 것입니다. 예를 들어 별도의 EC2 인스턴스에서 실행되는 두 개의 레코드 프로세서와 네 개의 키네시스 조각이 있습니다. 로드 균형 조정 기능을 사용하

9열

1답변

Google Cloud Platform의 Kafka/AWS 키네시스 스트림에 해당합니다.

많은 독자가이 버퍼에서 독립적으로 소비하는 동안 (계속해서 write-once-read-many/WORM) 버퍼에 앱을 계속 추가하고 있습니다. 처음에는 Apache Kafka를 사용하려고 생각했지만 AWS Kinesis Streams + KCL을 조사하기 시작한 as-a-service 옵션을 선호 했으므로이 작업을 수행 할 수있을 것 같습니다. 기본적으로

0열

1답변

awes kinesis로 로그 송수신

python boto3을 사용하여 다른 kinesis 스트림 파편으로 로그를 보내거나받을 수있는 방법은 무엇입니까? 한 개의 샤드 만있을 때 보내고받을 수는 있지만 내 kinesis 스트림에 여러 개의 샤드를 지정하면 어떻게 작동 될지 알 수 없습니다.

0열

1답변

하나의 Kinesis 스트림에서 Redshift의 여러 테이블로 데이터 스트리밍

다른 제작자의 Kinesis 스트림으로 들어오는 데이터가 있습니다. 데이터 유형에 따라 데이터를 여러 테이블로 변환해야합니다. 나는 Kinesis Streams에서 Lambda를 읽으려고하고 데이터를 다른 테이블로 변환 한 다음 Kinesis Firehose를 사용하여 Redshift로 배치하고 COPY합니다. 그러나 Firehose는 한 번에 하나의 Re

1열

1답변

Kinesis는 키네시 스 스트림에 대한 쓰기 소스를 탐지하기 위해 모든 메트릭/로그를 노출합니까?

Kinesis 스트림에 여러 기록 소스 (외부 계정)가있는 경우 각 작성자가 사용하는 대역폭에 대한 가시성을 가질 수 있습니까? 내가 볼 수있는 측정 항목/로그는 무엇입니까? 시간 내 주셔서 감사합니다. EDIT - 스트림 처리/소비 중에 메트릭을 방출 할 수 있음을 이해합니다. 플랫폼 자체에서 제공하는 로그/메트릭이 있는지 궁금합니다.

0열

2답변

AWS 람다 운동성 소비자 - 운동성 소비자에서 기본 청사진을 사용하여 JS

의 운동성 데이터 JSON은 // Kinesis data is base64 encoded so decode here const payload = new Buffer(record.kinesis.data, 'base64').toString('utf-8'); kinesis.data가 아직 유효 JSON있다가 지금은 아마 때문에, JSON 객체로 액세스 할

0열

1답변

AWS는 운동성

나는 CLI와 AWS 운동성에 일부 데이터를 쓰기 위해 노력하고 있어요에 넣어 레코드를 CLI를하지만이 작동하지 않습니다 : aws kinesis put-record --stream-name my-stream-name --data Data=jose|12 나는 "bash는 무엇입니까 : 발견되지 명령 : 12 "오류. aws kinesis put-reco

1열

1답변

AWS RDS - AWS ES

요구 사항 : 특정 테이블을 삽입/업데이트 할 때 데이터 스트림을 생성하고이를 탄성 검색으로 푸시합니다. 생각 AWS의 RDS (MariaDb) ----- 삽입/업데이트 말할 사용자 테이블 ---> AWS 운동성 스트림 - AWS 람다를 사용하여 -> AWS ES 질문 특정 테이블에 대한 삽입/업데이트시 키네시 스 스트림을 만들려면 어떻게해야합니까? AWS

0열

3답변

AWS : AWS Lambda에서 온 - 프레미스 애플리케이션으로 데이터를 보내는 방법

AWS Lambda 기능에서 사내 구축 형 데이터 스토어에 작성중인 사내 구축 형 CDAP 애플리케이션으로 데이터를 전송하려고합니다 (잠재적으로 10MB 초과). . 람다를 호출 할 수있는 온 - 어플 앱의 REST 인터페이스를 사용할 수 있다는 것을 알고 있지만 메시징 시스템을 사용하여 온 - 프레미어 리소스를 AWS Lambda와 통합 할 수 있는지 궁

0열

1답변

Kinesis의 특정 샤드에 데이터를 쓰는 방법

Kinesis의 특정 샤드에 데이터를 쓰려면 어떻게해야합니까? BOTO의 문서는 파티션 키가 각 키에 대해 최대 256 자 길이 제한과 유니 코드 문자열입니다 말한다. MD5 해시 함수는 파티션 키를 128 비트 정수 값에 매핑하고 관련 데이터 레코드를 샤드의 해시 키 범위를 사용하여 샤드에 매핑하는 데 사용됩니다. ExplicitHashKey 매개 변수를