접두사 또는 sufix를 nifi tail 파일 프로세서에 추가하십시오.

Question

내 프로젝트에서 Nifi를 사용하여 Tomcat에서 로그 파일을 읽고 해당 데이터를 스파크 응용 프로그램에서 처리 한 후 DB에 해당 프로세스 데이터를 삽입합니다.

하지만 내 문제는 응용 프로그램 서버 수준에서 2 개의 다른 상자에 4 개의 tomcat 클러스터 (4 개의 다른 로그 파일)가 있고 스파크 수준에서 어느 클러스터의 데이터인지 표시해야한다는 것입니다. 내 현재의 설정에서 나는 박스 당 하나의 아웃 포트를 가리키는 Nifi에서 2 tailFile 프로세서를 가지고 있지만 어떤 데이터가 스파크 레벨에서 어떤 클러스터인지 식별 ​​할 수 없습니다.

각 레코드에 접미사 또는 접두어 또는 파일 이름 (또는 속성)을 추가 할 수있는 옵션이 tailFile 프로세서에 있습니까? 그래서 각 레코드가 어느 클러스터에서 왔는지를 식별하고 그 방식으로 db를 유지할 수 있습니까? 사전에 어떤 도움이 높게 평가 될 것이다

....

덕분에

Answer 1

로그 파일 이름은 TailFile 프로세서 대신 다른 프로세서 후,

그래서 TailFile 프로세서 후 tailfile.original.path 특성에 저장됩니다 필요한 접두어를 flowfile 내용에 추가합니다. 예를 들어 ReplaceText를 사용할 수 있습니다.