s3distcp

0열

1답변

s3distcp 단일 명령으로 HDFS에서 S3으로 파일 및 디렉토리 복사

HDFS에 2 개의 파일과 1 개의 디렉토리가 있습니다. -rw-R - 1 r-- 사용 하둡 하둡 11,194,859 2017년 5월 5일 19시 53분 HDFS : ///outputfiles/abc_output.txt drwxr -XR-X - 하둡 하둡 0 2017-05- 05 19시 28분 HDFS : /// outputfiles/sample_direc

0열

2답변

s3-dist-cp 및 hadoop distcp 작업이 EMR에서 무한 반복됩니다.

s3에서 HDFS로 193GB 데이터를 복사하려고합니다. 나는 S3-distcp 및 하둡 distcp에 대해 다음 명령을 실행 해요 : 나는 마스터 노드에서 다음을 실행하고 또한 전송되는 양에 수표를 유지하고있어 s3-dist-cp --src s3a://PathToFile/file1 --dest hdfs:///user/hadoop/S3CopiedFiles/

0열

1답변

파일 목록이있는 Hadoop distcp

distcp를 사용하여 파일 목록 (1KB 이상 파일)을 hdfs에 복사하고 싶습니다. 이미 로컬 디렉토리에 파일 목록을 저장 했으므로 -f를 사용하여 모든 파일을 복사 할 수 있습니까? 그렇다면 파일 목록 파일에서 유지해야하는 형식은 무엇입니까? 아니면 더 좋은 방법이 있습니까?

1열

1답변

s3-dist-cp를 사용하여 마루 파일

을 만들면 s3-dist-cp 도구를 사용하여 마루 파일 (병합 압축)을 병합 할 수 있는지 궁금합니다. "--groupBy"및 "--targetSize"옵션을 사용하여 시도 했으므로 작은 파일을 더 큰 파일로 병합했습니다. 그러나 나는 Spark 나 AWS Athena에서 그것들을 읽을 수 없다. 어떤 도움에 감사드립니다 HIVE_CURSOR_ERROR:

0열

3답변

EMR5에서 S3-Dist-Cp 오류가 발생했습니다.

emr-5.0.0 버전에서 s3-dist-cp 명령과 관련된 문제가 있습니다. 내 응용 프로그램에서는 hdfs에서 S3로 일부 파일을 푸시해야합니다. 나는 이것을 달성하기 위해 s3-dist-cp 명령을 사용하고있다. emr-4.2.0에서 정상적으로 작동했습니다. 하지만 emr-5.0.0에서는 작동하지 않습니다. 명령을 수동으로 실행하면 정상적으로 작동합니

0열

1답변

EMR에서 런타임시 HDFS 경로를 유추

EMR 단계를 사용하여 S3에서 HDFS로 파일을 복사하는 EMR 클러스터를 생성했으며 s3-dist-cp를 사용하여 그 반대의 경우도 마찬가지입니다. 이 클러스터는 주문형 클러스터이므로 IP를 추적하지 않습니다. 첫 번째 EMR 단계는 다음과 같습니다. hadoop fs -mkdir /input -이 단계가 성공적으로 완료되었습니다. 다음은 내가 사용하고

0열

2답변

권한 문제는

내가 우리 CDH의 하둡 클러스터 우리는 를 실행하는 EMR 클러스터가) 2 S3에 백업 할 1) 내 문제를 상태로 S3하기 3) em3 클러스터에서 s3distcp를 실행하려고합니다. src를 cd3 원격 클러스터 및 대상의 hdfs URL로 제공합니다. 가 다음 오류 갖는 org.apache.hadoop.ipc.RemoteException (org.ap

0열

1답변

EMR 5.x의 pyspark 셸/pyspark 스크립트에서 "s3-dist-cp"명령을 실행하는 방법 일부 데이터 이동이 필요할 때

내 pyspark 스크립트에서 s3-dist-cp 명령을 실행하는 데 문제가있었습니다. . 그래서 여기에 성능 향상을위한 HDFS에 S3에서 나는이 공유하고

1열

1답변

단계가 exitCode, Amazon Emr Hadoop, S3DistCp와 함께 실패했습니다.

"단계"를 만들고 많은 작은 파일을 하나에 모으려고 노력 중이므로 일 동안 분리 할 수 있습니다. 문제는 내가 intetando 실행하고 내버려 두지 않는 것입니다. hadoop distcp s3n://buket-name/output-files-hive/* s3n://buket-name/files-hive/test 을하지만 이미 "에 의해 그룹"명령

0열

1답변

Hadoop distcp 제공되는 AWS 인증 정보 없음

HDFS에 넣으려고하는 거대한 양의 S3files 버킷이 있습니다. 관련된 파일의 양을 감안할 때 필자가 선호하는 솔루션은 '분산 복사본'을 사용하는 것입니다. 그러나 어떤 이유로 든 hadoop distcp로 나의 Amazon S3 자격증을 가질 수 없습니다. 내가 사용하는 명령은 다음과 같습니다. hadoop distcp -update s3a://[bu