distcp

0열

1답변

저는 CDH5 HDFS를 설정 한 Eucalyptus 사설 클라우드를 사용하고 있습니다. HDFS를 Eucalyptus S3에 백업하고 싶습니다. 여기에 제안 된대로 distcp를 사용하는 전형적인 방법은 http://wiki.apache.org/hadoop/AmazonS3, 즉 hadoop distp hdfs://namenode:9000/user/foo/

4열

1답변

Distcp를 사용하는 Hadoop의 데이터 처리

distcp는 데이터의 내부/내부 클러스터 전송에 사용되는 것으로 알고 있습니다. distcp를 사용하여 로컬 파일 시스템에서 HDFS로 데이터를 수집 할 수 있습니까? 파일 : /// .... 을 사용하여 HDFS 외부의 로컬 파일을 가리킬 수 있지만 인터/인트라 클러스터 전송과 비교할 때 얼마나 안정적이며 빠르습니까?

0열

1답변

게이트웨이 노드에서 동일한 네트워크의 다른 클러스터로 데이터 복사

같은 네트워크에있을 때 Cluster1의 게이트웨이 노드에서 클러스터 2의 HDFS로 데이터를 직접 복사 할 수 있습니까? 현재 클러스터 2의 게이트웨이 노드로 scp를하고 있습니다. HDFS로 데이터 업로드. hadoop fs -put [local_file] hdfs://[namenode2]:[namenode2_port]/[path] 가 가정 :

1열

1답변

Oozie - 작업 구성을 통해 DistCp에 대한 전략 설정

나는 distCp 작업으로 작업 흐름을 가지며 상당히 잘 돌아갑니다. 그러나 이제는 복사 전략을 변경하려고 시도하고 있으며 액션 인수를 통해이를 수행 할 수 없습니다. 이 주제에 관한 문서는 매우 슬림하고 distCp 작업 실행자의 소스 코드를 보면 도움이되지 않습니다. 명령 줄에서 distCp를 실행하는 경우 명령 줄 인수 -strategy {unifor

0열

1답변

java에서 distcp 패키지를 가져올 수 있습니까?

Java에서 distcp 패키지를 가져올 수 있습니까? import org.apache.hadoop.tools.util.DistCp 그러나 DistCp가 인식되지 않는 다음과 같이 나는 "org.apache.hadoop" % "hadoop-distcp" % "2.7.1" 의존성 및 사용 import 문을 시도했다. 도구 러너를 사용하여 java hado

1열

1답변

Hadoop distcp 예외

dictcp를 사용하여 CDH4에서 CDH5로 데이터를 복사합니다. CDH5 대상 namenode에서 명령을 실행할 때 다음과 같은 예외가 발생합니다. 이미 문제가 발생하고 해결책을 알고 있다면 알려주십시오. 감사. 5/01/05 18:15:47 ERROR tools.DistCp: Exception encountered org.apache.hadoop.i

6열

1답변

어떻게 hdfs에서 s3으로 암호화 된 distcp를 실행합니까?

우리의 hadoop 클러스터 (온 프레미스)에서 s3으로 데이터를 복사하고 싶습니다. 나는 그것을 암호화되지 않은 방식으로 할 수있다. 또한 s3cmd를 클라이언트 측 암호화와 함께 실행할 수도 있습니다. 클라이언트 측 암호화로 distcp를 수행하려면 어떻게해야합니까?

0열

1답변

MR1이있는 CDH5.2의 distcp2

s3에서 로컬 클러스터로의 distcp를 사용할 때 맵퍼 대역폭을 제한해야합니다. 그래서 나는 여기 https://repository.cloudera.com 에서 하둡 - distcp-2.5.0-cdh5.2.0-20141009.063640-188.jar 다운로드 링크입니다 : https://repository.cloudera.com/artifactory/p

0열

2답변

s3-dist-cp 및 hadoop distcp 작업이 EMR에서 무한 반복됩니다.

s3에서 HDFS로 193GB 데이터를 복사하려고합니다. 나는 S3-distcp 및 하둡 distcp에 대해 다음 명령을 실행 해요 : 나는 마스터 노드에서 다음을 실행하고 또한 전송되는 양에 수표를 유지하고있어 s3-dist-cp --src s3a://PathToFile/file1 --dest hdfs:///user/hadoop/S3CopiedFiles/

2열

1답변

distcp를 사용하여 HDFS에서 amazon S3로 안전하게 데이터 전송

Cloudera Hadoop 클러스터의 HDFS 데이터를 Amazon S3에 백업하려고합니다. 우리가 distcp를 사용할 수있는 것처럼 보이지만 명확하지 않은 것은 암호화 된 전송을 통해 S3에 데이터가 복사되는지 여부입니다. 이 기능을 사용하려면 구성해야 할 것이 있습니까?