파일 목록이있는 Hadoop distcp

Question

distcp를 사용하여 파일 목록 (1KB 이상 파일)을 hdfs에 복사하고 싶습니다. 이미 로컬 디렉토리에 파일 목록을 저장 했으므로 -f를 사용하여 모든 파일을 복사 할 수 있습니까? 그렇다면 파일 목록 파일에서 유지해야하는 형식은 무엇입니까? 아니면 더 좋은 방법이 있습니까?

Answer 1

유스 케이스가 로컬 파일 시스템 (예 : Linux)에서 HDFS로 데이터를 복사하는 경우 distcp를 사용할 필요가 없습니다. 당신은 동일한 것을 위해 hdfs dfs -put 명령을 간단히 사용할 수 있습니다. 다음은 구문입니다.

hdfs dfs -put /path/to/local/dir/* /path/on/hdfs/

예컨대

hdfs dfs -mkdir /user/hduser/destination-dir/

hdfs dfs -put /home/abc/mydir/* /user/hduser/destination-dir/

당신은 파일 경로의 목록이 포함 된 파일을 만든하지만이 전혀 필요하지

. 하나의 클러스터에서 다른 클러스터로 데이터를 복사 할 때 주로 (distcp 용으로) 사용됩니다.