apache-flink

2열

2답변

S3AFileSystem을 사용하는 Flink가 S3의 하위 폴더를 읽지 않습니다

제안 된 S3AFileSystem 구성과 함께 Flink 1.2.0을 사용하고 있습니다. 소스가 S3 버킷 내의 단일 폴더 인 경우 간단한 스트리밍 작업이 예상대로 작동합니다. 작업은 오류없이 실행되지만 이 아닌은 소스가 하위 폴더를 포함하는 폴더 일 때 출력을 생성합니다. 명확성을 위해 다음은 S3 버킷 모델입니다. s3a://bucket/folder/2

2열

1답변

Flink에서 파일로 JSON 형식의 데이터 쓰기

writeAsCsv (경로, 쓰기 모드)을 사용하여 Flink에서 처리 된 JSON 데이터를 파일에 쓰려고 할 때 파일에 기록 된 데이터가 필요하지만 JSON이 발생하지 않을 때마다 쉼표를 삽입합니다. 우리는 Apache Kafka를 Flink의 데이터 소스로 사용하고 있습니다. 세 번째 인수는 행 구분자 인 여기 messageStream.writeAsCs

0열

1답변

Apache Beam의 터플 기반 창

Apache Beam에서 튜플 기반 슬라이딩 창을 만드는 방법은 무엇입니까? 이 FLINK에 아주 쉽게 할 수 있습니다 : DataStream.countWindowAll(long size, long slide) 을하지만이 작업을 수행하는 방법에 빔 (또는 흐름)에 대한 문서에서 명확하지 않다. 창과 트리거의 조합입니까? 그것은 효율적입니까?

0열

1답변

FLINK AsyncDataStream 어떻게 통과하고 사용 구성

내가 내 main() 함수에서이 코드가 매개 변수 : 1.2 AsyncDataStreams를 사용하는 간단한 형식은 DataStream<OutputObject> asyncResultStream = AsyncDataStream.orderedWait( listOfData, new CustomAsyncConnector(), 5

0열

1답변

Apache Flink : AllWindowed Stream의 창 기능 - 카프카 주제 결합하기

주제 목록에서 단일 카프카 소비자를 사용하여 두 개의 카프카 항목을 결합하려는 경우 스트림의 json 문자열을 POJO로 변환하십시오. 그런 다음 keyBy (이벤트 시간 필드)를 통해 이들을 조인하고 단일 뚱뚱한 json으로 병합하려면 윈도우 스트림을 사용하고 윈도우 스트림에 윈도우 함수를 적용 할 계획이었습니다. 이 경우 Topic-A & Topic-B

0열

1답변

클러스터 GUI에서 args를 작업에 제출하는 적절한 방법은 무엇입니까?

목표는 클러스터 GUI의 "프로그램 인수"필드를 통해 Flink 작업의 Main() 함수에 인수를 전달하는 것입니다. , 나는 "ParameterTool"시도 public static void main(String[] args) throws Exception { ParameterTool parameter = ParameterTool.fromArg

0열

1답변

Apache 빠른 시작이 작동하지 않습니다. "정의 된 이슈는 아키타 입체가 아닙니다."

기본 Flink 퀵 스타트 예제를 시작하려고합니다. https://ci.apache.org/projects/flink/flink-docs-release-1.2/quickstart/java_api_quickstart.html 나는 메이븐과 함께 첫 번째 단계에서 오류를 받고 있어요. 명령 : mvn archetype:generate \ > -

1열

1답변

OrderedStreamElementQueue - 잠재적 교착 상태

정렬 모드에서 AsyncFunc를 사용할 때 교착 상태에 빠졌습니다. 나는 다음과 같은이 버그를 재현 할 수 있었다 : import org.apache.flink.streaming.api.datastream.AsyncDataStream; import org.apache.flink.streaming.api.datastream.DataStream; impo

0열

1답변

Flink는 여러 작업을 java 코드로 Web Ui를 사용하여 로컬 환경에 스트리밍 할 수 있습니까?

여러 작업을 연결하여 웹 코드를 사용하여 Web Ui로 로컬 환경을 스트리밍 할 수 있습니까? 내 코드는 다음을 통해 루프이며, 웹 UI의 Managment를 가진 동일한 환경으로 작업 2 job3를 부착 내가 뭘하고 싶은이 env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(config);

1열

2답변

여러 스레드에서 Azure 데이터 레이크에 스트리밍 데이터를 쓰는 방법은 무엇입니까?

나는 플립 프로그램을 사용하여 카프카에서 얻은 스트리밍 데이터를 Azure Data Lake에 씁니다. ADLOutputStream 가져 오기 및 쓰기 및 동기화를 사용할 때 그것은 잘 작동하지만 하나의 스레드가 데이터 lake.When 때 동기화하지 않고 여러 스레드를 사용하고 http 400 illegalargument 예외를 던지고 있기 때문에 성능이