2014-11-27 2 views
1

S3Distcp 명령을 사용하여 S3Distcp를 사용하여 매니페스트 파일을 사용하여 S3에서 HDFS로 파일을 복사합니다. 즉, - copyFromManifest 인수를 사용합니다. 그러나 S3DistCP 단계에서 매니페스트에 나열된 일부 파일 만 복사됩니다. 문제를 찾기 시작해야하는 위치가 확실하지 않습니다. 즉, 일부 파일이 복사되고 다른 파일이 복사되지 않는 이유는 무엇입니까?S3DistCP는 매니페스트에 대한 일부 파일을 복사하고 나머지는 복사하지 않습니다.

감사합니다.

+0

일부 노드 만 파일의 일부를 복사 했습니까? 작업 노드 로그를 검사하여 오류가 발생했는지 확인할 수 있습니까? –

답변

0

아마도 같은 이름이지만 다른 디렉토리에있는 파일이있을 수 있습니다. 이 경우 기본 이름srcDir 필드를 구성하는 방법을 변경해야합니다. 매니페스트 파일을 작성하는 방법을 설명하십시오.