제로 바이트 인 파일을 삭제합니다.

Question

hadfs에서 제로 바이트 인 파일을 삭제하기 위해 hadoop 2.x에서 명령을 찾고 있습니다. 어느 누구라도 적절한 명령을 알려주십시오. hdfs에서 0 바이트의 파일을 찾아 디렉토리에서 삭제하려고합니다. 단계별로

Answer 1

for f in $(hdfs dfs -ls -R/| awk '$1 !~ /^d/ && $5 == "0" { print $8 }'); do hdfs dfs -rm "$f"; done 

단계 :

hdfs dfs -ls -R / -하지 디렉토리와 크기가 0

for f in $(...); do hdfs dfs -rm "$f"; done되는 사람들의 전체 경로를 인쇄 - - 재귀

awk '$1 !~ /^d/ && $5 == "0" { print $8 }')는 HDFS에있는 모든 파일을 나열 반복적으로

을 제거

Answer 2

Kombajn의 대답에 따라 파일을 삭제해야하는 경우 qui가됩니다. cker는 xargs을 사용합니다. 이렇게하면 hdfs 명령마다 여러 파일을 삭제할 수 있습니다. 이는 다소 비쌉니다.

hdfs dfs -ls -R/| awk '$1 !~ /^d/ && $5 == "0" { print $8 }' | xargs -n100 hdfs dfs -rm