일부 네트워크 데이터 세션을 기반으로 스파크 스트리밍 응용 프로그램을 구현하려고합니다. 나는 RDD를위한 완전한 상태 프로그래밍을 사용하고있다.Spark Streaming에서 mapwithState에서 상태 삭제
엄청난 수의 레코드와 키로 인해 스트리밍 논리의 일부 조건을 준수하면 mapwithsate 함수에서 일부 상태를 삭제해야합니다.
내가 왜 이런 일을하는지, 내가 아는 스펙에서 알 수 있듯이 시간이있다. 그러나 이것은 내가 찾고있는 기능이 아니라 오히려 메모리 양을 줄이기 위해 메모리에서 상태를 삭제해야한다. 스트리밍 응용 프로그램이 소모됩니다. 아래의 예를 들어
당신이 할 수있는