amazon-kinesis

0열

1답변

kotoalite를 사용하도록 boto3 kinesis 클라이언트를 설정하고 싶습니다. 그래서 나는 완전히 지역적으로 일할 수 있습니다. 통찰력이 있으십니까?

0열

1답변

Spark worker에서 주기적으로 객체를 업데이트하는 방법은 무엇입니까?

필자는 Spark 애플리케이션에서 주기적으로 변수를 업데이트해야하는 작업자 코드에 필요한 요구 사항을 가지고 있습니다. 더 명확하게 이해하려면 동등한 파티셔닝으로 Kinesis 샤드에 데이터를 넣어야합니다. 운동성 파편의 수는 증가 또는 시간을 단축, 나의 파티션 키가 System.currentTimeMillis % shardSize 때문에 나는 항상 파편

2열

2답변

스파크 스트리밍 + 운동성 : 수신기 MaxRate은 내가 하나의 운동성 수신기가,

내가 maxRate을 통과 스파크가 제출 부르고 위반,과 1 spark-submit --conf spark.streaming.receiver.maxRate=10 .... 일괄 그러나 하나의 배치는 크게에 stablished 초과 할 수 maxRate. 즉 : 300 개의 레코드를 얻는 임. 설정이 누락 되었습니까?

0열

1답변

스파크 스트리밍 연결에서 데이터를 읽을 수 없습니다.

스파크 스트리밍에서 키네시스에 연결하기위한 코드를 작성했지만 데이터가 수신되지 않았습니다. 브로 kinesisStream = KinesisUtils.createStream (SSC, 프로그램 응용, streamName의, endpointUrl, RegionName이, InitialPositionInStream.LATEST, batchInterval, Sto

0열

1답변

키네 시스 + AWS 람다 : 모니터링 스트림

스트림을 처리하는 람다 함수의 현재 개수가 실제로로드에 대응하고 있는지 확인하는 데 좋은 메트릭이 무엇인지 궁금합니다. 스파크 응용 프로그램 + Kinesis를 사용하면 스트림 내에서 수신자의 처리량/현재 체크 포인트를 쉽게 볼 수 있습니다.

0열

1답변

AWS kinesis 데이터 스트림에서 실시간 티커 그래프를 만들려면 어떻게해야합니까?

내 AWS Kinesis Firehose에서 AWS Kinesis Analytics로 오는 데이터 스트림에 대해 NASDAQ처럼 2-3 초마다 실시간 그래프 티커를 만들 수 있습니까? Kinesis Analytics의 출력을 얻으려면 어떻게해야합니까? 이것에 가까운 것을 달성하려고 노력합니다.

1열

1답변

AWS Lambda + Kinesis : 스트림의 어떤 위치에서 람다 함수가 다시 시작됩니까?

새 코드가 람다 함수에 업로드 될 때 어떤 일이 발생하는지 궁금합니다. 함수 생성시 선택한 시작점에서 다시 시작됩니까 (예 : 수평선 자르기)?

0열

1답변

AWS에

참고 .NET 핵심 앱 프로필을 배포하는 방법 :이 질문은 .NET 코어 콘솔 응용 프로그램, 하지 ASP.NET 핵심입니다. AWS에서 프로필을 올바르게 사용하는 데 혼란을 느낍니다. 내가 이해하는 것은 AWS는 프로파일 이름은 AWS 자격 증명 (aws_access_key_id, aws_secret_access_key) 값을 포함하는 파일의 대신를 사용

0열

1답변

dynamodb 자격 증명은 직접 사용할 때 작동하지만 키네시스를 통과 할 때 실패 함

나는 과거에 키네시스를 사용해 왔지만이 문제가 발생했음을 기억하지 못합니다. 스트림에서 읽을 키네시 스 클라이언트를 설정 중입니다. 자격 증명을 통해 문제없이 S3 및 키네시 스에 액세스 할 수 있습니다. 그러나이 예외를 발생 com.amazonaws.services.kinesis.leases.exceptions.DependencyException: com

0열

1답변

는 운동성 분석 응용 프로그램

를 만들 수 없습니다. 그러나 저장을 클릭하여 계속하면 다음 오류가 발생합니다. 응용 프로그램을 업데이트하는 중 오류가 발생했습니다. 응용 프로그램을 업데이트하는 중에 문제가 발생했습니다. 오류 메시지 : 1 유효성 검사 오류가 감지 : 값 'C'를 'input.inputSchema.recordColumns.2.member.name'에서 제약 조건을 만족하