두 개의 Hdfs 디렉토리 (별도의 클러스터) 사이에서 distcp를 사용하여 파일을 쉼표로 구분하여 distcp 할 수 있습니까?

Question

필자는 x 개의 파일 만 distcp 할 필요가 있습니다.

할 방법을 찾을 수 없습니다.

1. 하나의 아이디어는 임시 디렉토리에 그것을 복사하는 것입니다 다음 distcp 디렉토리. 완료되면 해당 임시 디렉터리를 삭제할 수 있습니다.

2. 개별 distcp 명령 (각 파일에 대해). 이것은 고통 스러울 수 있습니다.

쉼표 분리가 허용되는지 확실하지 않습니다.

아이디어가 있으십니까?

미리 감사드립니다.

Answer 1

당신은 DistCp 명령

hadoop distcp hdfs://src_nn/var/log/spark/appHistory/<appId_1>/ \ 
       hdfs://src_nn/var/log/spark/appHistory/<appId_2>/ \ 
       .... 
       hdfs://src_nn/var/log/spark/appHistory/<appId_n>/ \ 
       hdfs://dest_nn/target/ 

또는 소스의 목록이 포함 된 파일을 만들고 -f 옵션

을 함께 소스로 명령을 전달하는 소스로 모든 파일을 전달할 수 있습니다

hadoop distcp -f hdfs://src_nn/list_of_files hdfs://dest_nn/target/