2017-12-21 25 views
1

는 INT 같은Flink는 관리 상태의 직렬화를 어떻게 처리합니까? FLINK은 ((IE) 작업 그래프의 가장자리를 따라?</p> <p><a href="https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/types_serialization.html" rel="nofollow noreferrer">documentation</a> 검사 점이나 논리 연산자 간의 통신을 위해 하나 운영자의 관리 상태가 지속 무엇 포맷

표준 타입을 판독 우리가 FLINK로, 긴 문자열 등 시리얼에 의해 처리됩니다 배송. 다른 모든 유형의 경우, 우리는 으로 폴백 Kryo.

무엇 FLINK와 함께 제공하는 시리얼은?

배경 : 내 소스로 데이터를 섭취 모두 위한 AVRO를 사용하여 JSON에서 전환을 고려하고, 또한 내 싱크로 데이터 발광하고있다. 그러나 Avro가 만든 자동 생성 POJO 클래스는 다소 시끄 럽습니다. 따라서 작업 그래프 (Flink 연산자 사이의 통신)에서 Avro와 같은 이진 직렬화 형식을 사용하면 성능 이점이 있는지 여부를 고려 중입니다. Flick은 잠재적으로 최적화 된 형식을 사용하기 때문에 성능에 중요한 영향을 미치지 않을 수 있으며 유형 호환성과 관련하여 더 많은 작업을 수행해야합니다. 그러나 나는 그것에 대해 더 많은 정보를 얻고 싶었습니다.

답변

1

Flink는 기본 유형, POJO 및 사례 클래스에 대해 자체 내장 직렬화 프레임 워크를 사용하며 효율적으로 설계되었습니다. Avro는 Flink의 세이브 포인트를 고려할 때 스키마 진화 영역에서 이점이 있습니다. 해당 항목은 this message on the user mailing list을 참조하십시오.