그렇다면 기본 단계를 안내해주세요. 페이지를 샅샅이 뒤지고 core-site.xml을 사용하여 가능하다는 것을 알았습니다.HDFS 시스템으로 파일을 전송하기 위해 Apache NIFI를 사용할 수 있습니까?
2
A
답변
1
PutHDFS 프로세서를 사용하여 파일을 HDFS 파일 시스템으로 쉽게 전송할 수 있습니다. 당신은 다음과 같은 속성을 지정해야이 프로세서에서 아래 링크. 이것
봐,
https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/
는 HDFS에 파일을 전송하기에 충분하다.
1.Hadoop 구성 자료 : 파일
/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml
2.Directory의 -A 파일 또는 쉼표로 구분 된 목록 :
/FilesFromNiFi/
3 당신의 HDFS 디렉토리의 위치를 지정합니다. 충돌 전략 : (추가/대체/무시/실패)
예컨대append
하면 : 유 HDFS에 로컬 드라이브로부터 파일을 이동해야하는 경우 NiFi 흐름 아래 사용 수단
GetFile-->PutHDFS
GetFile-->Just give your input directory.
putHDFS-->Specify your HDFS location
하면 아래에 대해 UI로 프로세서를 드래그해야
이미지.,
이 두 개의 프로세서를 끌어이 링크를 참조하십시오 GetFi NiFi UI
https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas
http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/
에 르와 putHDFS 당신이 어떤 문제에 직면하면 알려주세요.
Apache NiFi에서 위의 구성 요소 (GetFile PutHDFS)를 찾을 수 없습니까? 일부 설정에는이를 포함 할 이 포함되어 있습니까? – Pradhuman
나는 나의 대답을 편집했다. 당신은 당신의 답장을 보내 주셔서 감사합니다. –
감사합니다. 내 NiFi 바이너리가 손상되었으며 선택할 수있는 프로세서가 7 개 밖에 없었습니다. 나는 위의 문제를 해결하고 현재 잘 작동하고 있으며 옵션에서 183 홀수 프로세서를 볼 수 있습니다. – Pradhuman