flink-streaming

2열

1답변

Apache Flink : 작업을 다시 시작하지 않고 업데이트 된 jar 파일을 어떻게 다시로드 할 수 있습니까?

My Flink 작업에는/lib 폴더에 저장할 수있는 클라이언트가 제공 한 jar 파일이 있습니다. 클러스터를 다시 시작하지 않고 업데이트 된 jar 파일을 다시로드하는 방법이 있습니까?

1열

1답변

Flink 참조 데이터를 저장/액세스 할 수있는 위치에 대한 조언을 찾고 있습니다. 여기의 유스 케이스는 정말 간단하다 - 나는 국가 목록과 함께 단일 열 텍스트 파일을 가지고있다. 트위터 데이터를 스트리밍하고 트윗의 (구문 분석 된) 위치 필드를 기반으로 텍스트 파일의 국가를 일치시킵니다. IDE (이클립스)에서 정적 Flavor Mapper (즉, Fl

0열

1답변

Flink 적용 기능 on timeWindow

현재 Flink 프로젝트를 진행 중입니다. 이 프로젝트의 주요 아이디어는 JSON (네트워크 로그)의 데이터 스트림을 읽고, 상호 연관시키고, 다른 JSON의 정보가 결합 된 새로운 JSON을 생성하는 것입니다. 현재 JSON을 읽고 로그를 생성하는 컴퓨터를 기반으로 KeyedStream을 생성 한 다음 5 초의 창 스트림을 생성 할 수 있습니다. 다음 단

0열

1답변

Apache Flink : 소스에서 다른 데이터 스트림으로 패턴을 적용하는 방법은 무엇입니까?

이벤트의 데이터 스트림과 패턴의 다른 데이터 스트림이 있습니다. 패턴은 런타임에 사용자가 제공하며 카프카 (Kafka) 주제를 통해 올 필요가 있습니다. Flink-CEP를 사용하여 각 패턴을 이벤트 스트림에 적용해야합니다. 미리 패턴을 모를 때 DataStream에서 PatternStream을 가져 오는 방법이 있습니까?

0열

1답변

Flickink에서 재설정 연결 재설정

Flink 스트림 작업에서 RichFlatmapFunction을 확장하는 클래스가 있습니다. open() 메서드에서 Jedis 인스턴스를 만들고 (jedis.close()) 메서드를 close()으로 닫아서 변환을 통과하는 모든 레코드가 동일한 Jedis 인스턴스를 사용하도록합니다. 이 접근법은 전에 연결 오류를주지 못했습니다. " java.net.Sock

1열

1답변

Flink 스트리밍 이벤트 시간 창

간단한 예제를 실행하여 EventTime을 기준으로 창을 테스트합니다. 처리 시간으로 출력을 생성 할 수 있지만 EventTime을 사용할 때 출력이 나오지 않습니다. 내가 뭘 잘못하고 있는지 이해하도록 도와주세요. 5 초마다 슬라이드하는 크기가 10 초인 SlidingWindow를 만들고 창 끝에는 그 시간 동안받은 메시지 수가 표시됩니다. input :

1열

1답변

Flink는 관리 상태의 직렬화를 어떻게 처리합니까? FLINK은 ((IE) 작업 그래프의 가장자리를 따라?</p> <p><a href="https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/types_serialization.html" rel="nofollow noreferrer">documentation</a> 검사 점이나 논리 연산자 간의 통신을 위해 하나 운영자의 관리 상태가 지속 무엇 포맷

는 INT 같은 표준 타입을 판독 우리가 FLINK로, 긴 문자열 등 시리얼에 의해 처리됩니다 배송. 다른 모든 유형의 경우, 우리는 으로 폴백 Kryo. 무엇 FLINK와 함께 제공하는 시리얼은? 배경 : 내 소스로 데이터를 섭취 모두 위한 AVRO를 사용하여 JSON에서 전환을 고려하고, 또한 내 싱크로 데이터 발광하고있다. 그러나 Avro가 만든 자동

2열

1답변

1.4 아파치 FLINK에 foldLeft 연산자 상당 다음 윈도우 다음</p>가 <p>집계 동작의 출력을 집계 keyBy I는 다음의 데이터 스트림 이 사용 아파치 FLINK 1.4 시작 같은 스트림을 설정 한 데이터 스트림

있는가 AggregateResult 객체 그래서 끝나는 스트림은 SingleOutputStreamOperator 유형입니다. 내가하고 싶은 것은 scala foldLeft와 같습니다. 해당 기능을 제공하는 운영자가 있습니까? 감사

2열

2답변

Flink 1.3.2에서 1.4.0으로 업그레이드하기 hadoop FileSystem 및 경로 문제

최근에 Flink 1.3.2에서 1.4.0으로 업그레이드를 시도했으며 더 이상 org.apache.hadoop.fs.{FileSystem, Path}을 가져올 수없는 몇 가지 문제가 있습니다. 문제는 두 곳에서 발생 : ParquetWriter : import org.apache.avro.Schema import org.apache.avro.generic

2열

1답변

키로 레코드를 그룹화하고 Flink 스트리밍에서 ListBuffer로 수집하십시오.

Flink DataStream 유형이 DataStream[(String, somecaseclass)]입니다. String 인 Tuple의 첫 번째 필드에 그룹화하여 ListBuffer[somecaseclass]을 만들고 싶습니다. val emptylistbuffer = new ListBuffer[somecaseclass] inputstream .