flink-streaming

0열

1답변

나는 병렬 처리 1로 flink 스트리밍 작업을 실행 중입니다. 8 시간 후 갑자기 실패했습니다. 그것은 보여 주었다 Association with remote system [akka.tcp://[email protected]:44863] has failed, address is now gated for [5000] ms. Reason is: [Disass

1열

1답변

스트리밍 - 점진적으로 RDBMS 업데이트 및 이벤트 삭제 처리 방법

스트리밍이 데이터 이동의 대안이 될 수 있는지 생각하고 현재 데이터 파이프 라인을 재구성하려고합니다. RDBMS 이벤트에는 기존 데이터뿐만 아니라 기록 데이터에 대한 INSERT, UPDATE 및 DELETE가 포함됩니다. 이 모든 이벤트에는 고유하게 식별 할 수있는 키가있을 수 있습니다. 이러한 이벤트를 처리하는 동안 정확성과 완전성이 중요하며 어느 정도

1열

1답변

입력 스트림을 여러 창으로 분할하여 개별적으로 처리

데이터 스트림이 있습니다. 창 기능을 1 시간, 2 시간, 3 시간 ... 24 시간으로 적용해야합니다. 각 분할에는 고유 한 창 기능이 있습니다. 효율적으로 창을 분할하는 방법. 내가 생각할 수있는 더러운 방법은 for(int i=1; i < 24 ;i++){ inputStream.keyBy("id").timeWindow(Time.hours(i)

0열

1답변

Flink add Task/JobManagers to cluster

새 작업/작업 관리자를 기존 실행중인 클러스터에 추가하는 것과 관련된 절차는 여기 (https://ci.apache.org/projects/flink/flink-docs-release-1.2/setup/cluster_setup.html#adding-jobmanagertaskmanager-instances-to-a-cluster)에서 찾을 수 있습니다. 그러

0열

2답변

Flink 클러스터에서 Ignite User Defined Function에 ClassNotFound 오류가 발생했습니다.

Apache flink에서 스트리밍 된 데이터를 Apache Ignite 캐시에 캐시하려고합니다. 또한 사용자 정의 함수를 사용하는 쿼리를 실행하고 싶습니다. Ignite 당 캐시를 선언하는 동안 cacheConf.setSqlFunctionClasses(GetCacheKey.class) 설정을 사용하고 있습니다. 제가 아파치 FLINK와 로컬 코드를 실행하

1열

1답변

정확히 한 번만 메시지 처리 Flickink

2 개의 JobManagers와 3 개의 TaskManagers로 Flink 1.2 독립 실행 형 클러스터를 설정했고 JMeter를 사용하여 처리 된 Kafka 메시지/이벤트를 생성하여 JMeter를로드 테스트했습니다. 처리 작업은 TaskManager에서 실행되며 대개 15K 이벤트/초가 소요됩니다. 작업이 EXACTLY_ONCE 검사 점을 설정했으며 상

2열

1답변

플 링크 다이내믹 스케일링

현재 플 링크에서 확장 성을 연구 중입니다. 버전 1.2.0부터 동적 재조정이 도입되었습니다. 카프카 소스에서 데이터를 읽는 장기 실행 작업을 조정하는 방법을 모색 중입니다. 동적 재조정에 관한 질문. 예를 들어, 내 FLINK 응용 프로그램을 확장하려면 새 작업 관리자를 추가, 나는 새로 추가 된 리소스를 사용하는 작업/실 세션을 다시 시작해야합니다? 새

0열

3답변

flink taskmanagers의 작업 관리자 ID를 얻는 방법이 있습니까

작업 관리자의 정수/해시 ID를 가져 와서이를 사용하여 메트릭을보고 싶습니다.

0열

1답변

다른 방법으로 Apache flink 스트림을 필터링하는 방법은 무엇입니까?

나는 두 개의 스트림이 하나의 Int이며 다른 하나는 json이다. json 스키마에는 몇 가지 int 인 하나의 키가있다. 그래서 나는 다른 정수 스트림과 키 비교를 통해 json 스트림을 필터링해야한다. 플린 크?

1열

1답변

아파치 플 링크에서 슬라이딩 윈도우를 창 크기에 도달 한 후에 만 슬라이드하는 방법은 무엇입니까?

buySideVolumeWMA 개인 데이터 스트림 (데이터 스트림 buyPressureTradeStream) { Integer windowSize = 3; Integer windowslide = 1; DataStream<Double> buySideVolumeWMAStream = buyPressureTradeStream.countWindo