스파크 스트리밍으로 사전 기록을 작성하는 기록은 언제 있습니까?

Question

스파크 스트리밍을 사용하는 응용 프로그램에서 writeAheadLog를 활성화했습니다. 기록이 정확히 writeAheadLog에 기록됩니까? 저장소 (...)가 호출 될 때 또는 레코드가 수신/승인되는 즉시입니까? 신뢰할 수있는 수신기를 구현하려고 할 때 실제로 레코드를 저장하기 전에 여러 레코드를 먼저 수집하려고합니다. 이제 저장소에 저장하고 store()를 호출 한 레코드가 저장 전에 응용 프로그램이 실패 할 경우 writeAheadLog에 있어야합니다.

또한 응용 프로그램을 다시 시작할 때 로그의 레코드를 처리하는 올바른 방법은 무엇입니까? 이러한 이벤트를 저장하고 싶습니다. 액세스 할 수있는 쉬운 방법이 있습니까?

Answer 1

몇 가지 테스트를했는데 store()에서 writeAheadLog에 레코드가 기록 된 것으로 보입니다. 이것은 저장 전에 레코드가 수집되는 버퍼를 failsafe하기 위해 추가 작업이 필요하다는 것을 의미합니다.