flink-streaming

2열

1답변

나의 목표는 id가 이벤트에서 추출되는 마지막 Nids를 유지하는 Flink 스트리밍 프로그램을 갖는 것입니다. 싱크대는 Cassandra 상점이므로 언제든지 ID 목록을 가져올 수 있습니다. 카산드라가 모든 사건 즉시 업데이트되는 것이 중요합니다. mapWithState (아래 코드 참조)으로 쉽게 구현할 수 있습니다. 그러나이 코드에는 중요한 문제가 있

0열

1답변

Flink에서 이벤트를 수신 할 때 Kafka 주제를 다시 읽는 방법은 무엇입니까?

My Flink는 두 가지 카프카 주제 (처음부터)를 듣습니다 : TopicA와 TopicB. TopicA에서 메시지가 도착하면 작업이 계산됩니다. TopicB에서 메시지가 도착하면 작업을 계산을 재설정하고 TopicA (처음부터 다시 읽음)을 원합니다. 가능합니까? 카프카 주제를 다시 읽는 해결책을 찾지 못했습니다. 일시적인 해결책이 있습니다 : 셸 스크

3열

2답변

백엔드 상태 및 체크 포인트에 S3를 사용하도록 Flink를 구성하는 방법

Flink v1.2, 3 개의 JobManagers, 2 개의 TaskManagers로 설정했습니다. 난 내가 더 하둡가 설치되어 있지 않은 2017-03-22 09:52:40,971 ERROR org.apache.flink.runtime.jobmanager.JobManager - Error while starting up JobManager jav

2열

1답변

백엔드 상태 및 체크 포인트에 Hdfs를 사용하도록 Flink를 구성하는 방법

Flink v1.2, 3 개의 JobManagers, 2 개의 TaskManagers로 설정했습니다. 파일 시스템 state.backend.fs.checkpointdir : HDFS : /// [IP : 포트]/FLINK - 체크 포인트 나 백엔드 상태와 체크 포인트와 사육사를위한 HDFS storageDir state.backend를 사용하려면 state

0열

1답변

플립크 코드, 특히 스케줄링 부분을 이해하고 분석하십시오.

아파치 플 링크의 자원 및 태스크 스케줄링을 개선하기 위해 노력하고 있습니다. 아파치 플 링크의 내부 아키텍처에 대한 자습서 나 문서를 공유하십시오. 또한 flink 코드를 디버깅하는 적절한 방법을 공유하십시오. 플립 코드 분석에 대한 귀하의 도움과 경험에 감사드립니다.

0열

1답변

Apache Flink - 매우 큰 상태의 스트림 프로세서 구현

이벤트 스트림에서 잠재적으로 매우 큰 상태를 투사하려고합니다. 독특한 barId의 수는 매우이다 BarState의 크기가 FooAdded 언급 된 그 횟수로 성장할 것입니다 최악의 경우 class ImperativeFooProcessor { val state: mutable.Map[UUID, BarState] = mutable.HashMap.em

0열

1답변

임베디드 플 링크 인스턴스의 JobManager는 어디에 있습니까?

여러 (마이크로) 서비스로 응용 프로그램을 개발 중입니다. 서비스간에 메시지를 스트리밍하기 위해 Flink (over Kafka)를 사용하고 있습니다. Flink는 Java 응용 프로그램에 내장되어 있으며 각 응용 프로그램은 별도의 고정 컨테이너에 실행됩니다. 나는 Flink를 처음 시도하고 있으며 문서를 읽은 후에도 여전히 기본적인 것을 놓치고 있다고 느

0열

1답변

원사의 Flink JobManager에 HA 설정을위한 사육사가 필요합니까?

Flink 설명서에 "가용성이 높은 YARN 클러스터를 실행할 때 여러 JobManager (ApplicationMaster) 인스턴스를 실행하지 않고 YARN이 실패 할 경우 하나만 실행합니다."라는 메시지가 표시됩니다. . 그런 다음 "고 가용성 : 사육사"아래에 있습니다. 원사에 대한 경험이 없지만 원사가 재시작을 처리 할 때 동물원을 설치해야하는 이

1열

1답변

Hdfs 암호화 영역에 플립크 쓰기

현재 환경에서 암호화 된 영역 hdfs가 있습니다. 나는 Apache Parquet writer 버전 1.9.0을 사용하여 헤더 파일을 hdfs로 암호화 된 영역에 작성하기 위해 Flink 1.2.0 클러스터를 사용하고 있습니다. 내가 암호화되지 않은 영역에 쓰기에는 문제가 없지만, 순간 내가 암호화 된 영역에 쓴, 나는 다음과 같은 오류가 : 나는 하둡

1열

1답변

카프카 프로듀서에서 RecordTooLargeException을 해결하는 방법?

FlinkKafkaProducer08을 사용하여 카프카에 기록을 보내고 있습니다. 하지만 언젠가는 오류 메시지에 인쇄하고있는 레코드의 크기가 0.02 MB로 너무 작아도 언젠가 예외를 따르고 있습니다. java.lang.RuntimeException: Could not forward element to next operator Caused by: java