Kinesis Agent가 스트림에 레코드를 보내지 않음

데이터를 적색 변이로 푸시하기 위해 Kinesis Firehose 스트림을 생성했으며 kinesis 에이전트를 사용하여 EC2 인스턴스에서 데이터를 푸시하려고합니다.Kinesis Agent가 스트림에 레코드를 보내지 않음

Firehose Stream은 레코드를 구문 분석 할 수 있지만 Firehose 스트림을 식별하지 못하면 다음과 같은 Java 오류가 발생합니다.

com.amazon.kinesis.streaming.agent.tailing.AsyncPublisher 
[ERROR] AsyncPublisher[kinesis:csvtoredshiftstream:/tmp/redshift.log*]:RecordBuffer 
(id=2,records=2,bytes=45) Retriable send error (com.amazonaws.services.kinesis.model.ResourceNotFoundException: 
Stream csvtoredshiftstream under account xyz not found. 
(Service: AmazonKinesis; Status Code: 400; 
Error Code: ResourceNotFoundException; 
Request ID: f4a63623-9a15-b2f8-a597-13b478c81bbc)). Will retry. 

Request your pointers to identify and resolve the issue.

감사합니다, Srivignesh KN

출처

2017-03-02 Srivignesh KN

는 파이어 호스 스트림 또는 적색 편이에 대한 귀하의 오류가? 이벤트를 게시하기 전에 스트림'csvtoredshiftstream '을 생성하지 않은 것 같습니다. 나는 firehose를 사용하지 않았습니다. kinesis-agent가 이벤트를 Firehose 스트림으로 수집한다고 추측합니다. 그러나 스트림은 존재하지 않습니다. 그렇다면 먼저 스트림을 생성 해보십시오. CreateStreamRequest createStreamRequest = new CreateStreamRequest(). withStreamName ("csvtoredshiftstream")'을 게시하십시오. – prayagupd

감사합니다 @peter, 나는 firehose 이벤트에 대해 다음과 같은 방식으로 agent.json의 입력을 지정하여 오류를 극복 할 수있었습니다. { "cloudwatch.emitMetrics"참 "kinesis.endpoint": "" "firehose.endpoint": "firehose.us-west-2.amazonaws.com"는 는 "흐름"[{ "filePattern": "/tmp/s3streaming.*" "deliveryStream": "S3TestingStream" "partitionKeyOption": "RANDOM" }, { "filePattern": "/tmp/app.log*" , "deliveryStream": "yourdeliverystream" } ] } –

는

내가 위해 다음과 같은 방식으로 agent.json에 입력을 지정하여 사용하여 오류를 극복 할 수 있었다, 당신은 @ 피터 감사 firehose 이벤트.{ "cloudwatch.emitMetrics": true, "kinesis.endpoint": ""firehose.endpoint ":"firehose.us-west-2.amazonaws.com ","flows ": [{" "filePattern": "/tmp/s3streaming. ","deliveryStream ":"S3TestingStream ","partitionKeyOption ":"RANDOM "}, {"filePattern ":"/tmp/app.log ","deliveryStream ":"yourdeliverystream "}]} -
또한 Kinesis Streams가 예상대로 작동하려면 S3 버킷도 Streams와 동일한 영역에 만들어야합니다.

스트림이 West-2 지역에서 생성 된 경우 S3 버킷도 같은 지역에 만들어야합니다.

감사 & 감사합니다, Srivignesh KN

출처

2017-03-05 21:08:20

Kinesis Agent가 스트림에 레코드를 보내지 않음

답변

관련 문제