flink-streaming

1열

2답변

아파치 스파크에서 우리는 여러 번 RDD forEach를 사용하여 RDD의 각 데이터를 평가하거나 처리합니다 ... Apache Flink에서 동일한 내용을 알고 싶습니까 ??

0열

1답변

FLINK : 동일한 StreamExecutionEnvironment를 사용하여 여러 카프카 클러스터를 읽는 방법

FLINK에서 여러 KAFKA 클러스터의 데이터를 읽으 려합니다. 하지만 그 결과는 kafkaMessageStream은 첫 번째 카프카에서만 읽을 수 있습니다. 카프카 두 스트림을 각각 별도로 스트림이있는 경우에만 카프카 클러스터에서 읽을 수 있습니다. 이는 내가 원하는 것이 아닙니다. 단일 리더에 여러 소스를 첨부 할 수 있습니까? 샘플 코드 public

3열

1답변

java.lang.NoSuchMethodError : scala.Predef $ .ArrowAssoc (Ljava/lang/Object;) Ljava/lang/Object

나는 flink와 kafka로 작업하고 있는데, 나는이 오류가있다. asm-4.0.jar,commons-codec-1.6.jar,commons-exec-1.1.jar,commons-fileupload-1.2.1.jar,commons-io-2.4.jar,commons-lang-2.5.jar,commons-logging-1.1.3.jar,commons-logg

1열

2답변

동일한 독립 실행 형 클러스터에서 실행중인 다른 flink 작업에 대해 다른 log4j.properties 파일을 지정하는 방법

독립 실행 형 클러스터에서 여러 개의 flink 작업을 실행하고 있습니다. 다른 flink 작업에 대해 다른 로그 파일을 원합니다. 어떻게 flink 작업을 제출하는 동안 다른 log4j.properties 파일을 전달할 수 있습니까?

1열

1답변

Flink : DataStream에 외부 조인이 없습니까?

Flink (DataStream docs)에 DataStream에 대한 외부 조인이 없다는 것에 놀랐습니다. 대한 DataSet 모든 옵션이 있습니다 떨어져 일반 join (DataSet docs)에서 leftOuterJoin, rightOuterJoin 및 fullOuterJoin을. 그러나 DataStream의 경우 일반 올드 조인 만 있습니다. Dat

2열

1답변

Apache Flink : 지연된 Datastream 만들기

나는 Scala를 사용하여 Apache Flink를 시작했습니다. 누군가 내가 가지고있는 현재의 데이터 스트림에서 느린 스트림 (k 이벤트 또는 k 단위의 시간 지연)을 만드는 방법을 알려주시겠습니까? 기본적으로 데이터 스트림에서 자동 회귀 모델 (시간 지연 버전의 선형 선형 회귀 모델)을 구현하고 싶습니다. 따라서 다음의 의사 코드와 비슷한 방법이 필요합

0열

1답변

FlinkKafkaConsumer09는 몇 가지 메시지를 반복해서 읽습니다.

나는 카프카에서 데이터를 읽고 플린크로 인쇄하는 간단한 프로그램을 작성했습니다. 아래는 코드입니다. public static void main(String[] args) throws Exception { Options flinkPipelineOptions = PipelineOptionsFactory.create().as(Options.class)

0열

1답변

Apache Flink : 런타임에서 상태 매개 변수를 외부에서 변경합니다.

현재 스트리밍 ML 파이프 라인에서 작업 중이며 정확히 한 번만 이벤트 처리가 필요합니다. 나는 플랭크에 관심이 있었지만 외부에서 실행 상태를 변경/업데이트 할 수있는 방법이 있는지 궁금합니다. ml 알고리즘 상태는 Flink에 의해 유지되며 괜찮습니다.하지만 런타임에 일부 실행 매개 변수를 변경하려는 경우 실행 가능한 솔루션을 찾을 수 없습니다. 기본적으

0열

1답변

Apache Flink JDBC InputFormat throwing java.net.SocketException : 소켓이 닫혔습니다.

Flink DataSet API를 사용하여 Oracle 데이터베이스를 쿼리하고 있습니다. 이를 위해 Flink JDBCInputFormat을 java.sql.Resultset을 반환하도록 사용자 정의했습니다. Flink 연산자를 사용하여 결과 집합에 대한 추가 작업을 수행해야합니다. public class JDBCInputFormat extends Rich

0열

1답변

# Apache-flink : 데이터 관리를위한 유스 케이스

대용량 데이터 처리와 관련된 데이터 관리 (DM) 솔루션을 구축하고, 일부 데이터 도메인 규칙을 통과하고, 대체 (농축)하고, 오류가 발생한 데이터를 보내기 전에 플래그 지정합니다 다운 스트림 시스템으로. & 값을 검사하는 규칙은 데이터 요소가 만족시켜야하는 허용 가능한 임계 값과 같은 단순한 것이거나 값의 도메인 풀에 대한 마스터 데이터를 조회하는 것보다