aws-kinesis-firehose

0열

1답변

데이터를 적색 변이로 푸시하기 위해 Kinesis Firehose 스트림을 생성했으며 kinesis 에이전트를 사용하여 EC2 인스턴스에서 데이터를 푸시하려고합니다. Firehose Stream은 레코드를 구문 분석 할 수 있지만 Firehose 스트림을 식별하지 못하면 다음과 같은 Java 오류가 발생합니다. com.amazon.kinesis.stream

5열

2답변

수행 방법 Amazon Redshift로 실시간로드 하시겠습니까?

우리는 실시간 데이터웨어 하우징을 위해 Amazon Redshift를 평가하고 있습니다. 데이터는 Java 서비스를 통해 스트리밍되고 처리되며 데이터베이스에 저장되어야합니다. 행 단위로 처리 (실시간)하며 트랜잭션 당 하나의 행만 삽입합니다. Amazon Redshift에 실시간 데이터를로드하는 가장 좋은 방법은 무엇입니까? JDBC를 사용하여 INSERT

0열

1답변

다중 회선 JSON 데이터가 AWS로 이동하는 것을 어떻게 필터링합니까? 하이브 테이블

들어오는 JSON을 Kinesis Firehose로 보내는 AWS IoT 규칙이 있습니다. 만약 IoT 게시 내에서 JSON 데이터가 모두 한 줄에 - 예 :이 {"count":4950, "dateTime8601": "2017-03-09T17:15:28.314Z"} 관리자 UI에서의 IoT "테스트"섹션에서는 메시지를 게시 할 수 있습니다, 다음 (참고

0열

2답변

Kinesis에서 S3로 데이터 쓰기

데이터를 Kinesis 스트림에 게시하는 Java 응용 프로그램의 AWS SDK를 사용하여 데이터를 쓰고 있습니다. 이 작업은 다음 코드를 사용하여 한 번에 10 개의 레코드 일괄 처리로 수행됩니다. 그런 다음 // Convert to JSON object, and then to bytes... ObjectWriter ow = new Obje

0열

1답변

Amazon Kinesis Analytics로 지오 코드 데이터를 되돌릴 수 있습니까?

Amazon Kinesis를 사용하여 대량의 들어오는 위도/경도 데이터 포인트를 처리하는 경우이를 규모에 따라 역 지오 코딩하는 가장 좋은 방법은 무엇입니까? 내가 S3에 저장된 참조 데이터를 사용할 수 있습니다 운동성 웹 로그 분석을 사용 , 여기에 설명 된대로 : http://docs.aws.amazon.com/kinesisanalytics/latest

1열

1답변

마이크로 서비스 아키텍처에서의 우려 분리

전자 상거래 플랫폼에 연결되어있는 마이크로 서비스가 있습니다. , 그것은을합니다 ... 예를 들어 , 새로운 고객이 전자 상거래 또는 누군가 장소와 순서에 가입 - 고객 서비스 - - 주문 서비스 - 배달 서비스 : 오늘, 우리는 우리의 microservices가 고장이 Firehose/S3에 정보와 덤프를 제공하는 마이크로 서비스 중 하나 인 webhoo

1열

1답변

구분 기호를 찾을 수 없음 오류 - AWS 적색 변속기 Kinesis Firehose를 사용하여 s3에서로드

키네시스 파이어 호스를 사용하여 S3를 통해 Redshift로 데이터를 전송합니다. 나는 아주 간단한 csv 파일을 가지고있다. Firehose는 s3에 넣지만 Redshift 오류는 Delimiter 오류로 찾을 수 없습니다. 이 오류와 관련된 모든 게시물을 말 그대로 보았지만 분리 문자가 포함되었는지 확인했습니다. 파일 GOOG,2017-03-16T16

1열

2답변

S3로 올바르게 형식화 된 JSON을 작성하여 Athena/Redshift에로드하십시오.

Kinesis에서받은 각 트랜잭션에 대해 람다 함수를 실행하는 트리거가 있습니다. 생산자가 PutRecordsRequest() 메소드를 통해 여러 트랜잭션을 전송 중입니다. 람다 함수는 다음과 같습니다. var AWS = require('aws-sdk'); var firehose = new AWS.Firehose(); var fhStreamName =

0열

1답변

AWS 람다 함수에 대한 빠른 데이터 액세스

분당 10k 레코드의 속도로 데이터를 보내는 kinesis firehose 스트림을 기반으로 s3 put 작업을 트리거하는 파이썬 기반 람다 함수가 있습니다. 현재 람다 함수는 데이터의 작은 픽스 업을 수행하고 100의 일괄 처리로 logstash 인스턴스에 전달합니다. 람다 실행 시간은 5 - 12 초이며 매분마다 실행되므로 문제가 없습니다. 스트리밍 된

0열

2답변

대용량 파일 업로드에 AWS Kinesis 사용

내 클라이언트에는 비디오 또는 사운드 파일과 같은 많은 파일을 저장하는 서비스가 있습니다. 서비스는 잘 작동하지만 오랜 시간 동안 파일을 저장하는 것이 상당히 어려울 것으로 보이며 이러한 파일을 저장하기 위해 AWS를 사용하고자합니다. 문제는 다음과 같습니다. 클라이언트는 서버의 모든 파일을 AWS로 전송하기 위해 AWS 키네시 스를 사용하려고합니다. 이것