flink-streaming

1열

1답변

Flink는 SingleOutputStreamOperator를 하나가 아닌 두 개의 파일에 씁니다.

직장에서 프로젝트에 flink를 시도하고 있습니다. 나는 count windowing을 적용하여 스트림을 처리하는 지점에 도달했습니다. 그러나 설명 할 수없는 특이한 동작을 발견했습니다. 스트림이 두 개의 스레드에 의해 처리되고 출력이 두 부분으로 분리 된 것처럼 보입니다. 처음에는 stream.print()을 사용하여 스트림을 표준 콘솔에 인쇄 할 때의

0열

1답변

Apache Flink가 클러스터에서 UnknownHostException을 throw합니다.

데이터를 가져 오기 위해 nifi에 연결하는 flink 프로젝트가 있습니다. 설치 프로그램은 로컬에서 실행될 때 데이터 스트림을 가져 오기만하면됩니다. .url("http://1.2.3.4:8080/nifi") .portName("MyPortName") .requestBatchCount(5) .buildConfig();

1열

1답변

동물원 보관소와 함께 Flink : 진행중인 리더 선거 때문에 일시적으로 서비스를 이용할 수 없습니다. 새로 고침하십시오.

고 가용성 모드로 flink 클러스터를 실행하고 싶습니다. 그러므로 나는 flink 설정 파일에 JobManager High Availability에 따라 설정을했다. start-zookeeper-quorum.sh을 사용하여 zookeeper quorum을 시작하면 두 대의 컴퓨터에서 두 개의 zookeerper 서버 (피어)를 시작할 수 있습니다. 하지만

1열

1답변

TaskManager가 실패 할 때 예상되는 HA 동작

1 개의 JobManager와 2 개의 TaskManagers로 구성된 HA Flink v1.2 클러스터를 자체 VM (YARN 또는 hdfs를 사용하지 않음)에 각각 만들었습니다. JobManager 노드에서 작업을 시작하면 하나의 TaskManager 인스턴스가 종료됩니다. 즉시 웹 대시 보드에서 작업 취소 및 실패를 볼 수 있습니다. 나는 로그를 확인

0열

1답변

TaskManager 용 Flink 상태 백엔드

저는 1 개의 JobManager와 2 개의 TaskManagers를 가진 Flink v1.2 설정을 가지고 있습니다. 각 TaskManagers는 자체 VM입니다. 상태 백엔드를 파일 시스템으로 구성하고 위의 각 호스트 (state.backend.fs.checkpointdir : file : /// home/ubuntu/Prototype/flink/fli

0열

1답변

Apache Flink에서 변환 후 전체 윈도우 트리거

평균값이 임계 값보다 높으면 작동하지 않는 창 트리거를 flink로 구현하려고합니다. 스트리밍 데이터의 학생 이름은 &이며, 표시는 ,입니다. 시도 횟수와 관계없이 학생의 평균 점수가 90 인 경우 창을 트리거해야합니다. 예를 들어 데이터 : Fred,88 Fred,91 Wilma,93 . . 현재 FLINK 코드 : import org.apac

0열

1답변

조건이 충족 될 때까지 대기열을 나가는 메시지없이 메시지를 처리하는 방법은 무엇입니까?

이것은 flink 스트리밍을 통해 해결할 계획 인 특정 사용 사례에 관한 것입니다. 메시지가 flink 스트림 처리로 보내지면 스트림이 입력되고 예상대로 분할됩니다. 그러나 키 당 각 메시지는 조건이 충족 될 때까지 평가되어야합니다. 계정에 대한 계정 트랜잭션 (메시지)을 순서대로 처리해야하는 은행 시스템이 있으며 일관성없는 시스템 상태로 이어질 수 있으므

0열

1답변

Flink 1.2가 HA 클러스터 모드에서 시작하지 않습니다.

Flink 1.2를 HA 클러스터 모드 2 JobManagers 1 TaskManager에 로컬로 설치했으며 실제로이 모드에서 시작하기를 거부했습니다. "Starting cluster." 대신 "ZooKeeper 쿼럼에 2 개의 마스터와 1 개의 피어로 HA 클러스터 시작"메시지가 표시됩니다. 내 경우 값에 독립적으로 구성 파일 "고 가용성"키 구성되어 무

0열

1답변

플린 크 스트림이 불변입니까?

필자는 flink를 사용하여 데이터 스트림을 분할해야합니다. 1 일 명 "MYDS"는 - 중복 데이터 를 포함 중복 부분 코드가 필터링한다 "goodDataStream"라는 이름의 2 일 : goodDataStream = myDs .filter(new DedupeFilterFunction()) // does this line affects my

1열

1답변

Flink HA State 백엔드

나는 HA 설치를 위해 Flink 1.2.0을 구성하려고하는데 상태 백엔드라는 매개 변수를 설정해야합니다. 이전에이 매개 변수를 rocksdb로 설정했지만, HA에 대해서만 설명하는 문서를 읽으면 파일 시스템 만 사용할 수 있습니다. 사실입니까? (파일 시스템 상태 백엔드 만 HA 설정에 지원되며 rocksdb는 사용 가능하지 않습니까?) 아니면 다른 (사