서버간에 압축 파일을 Hadoop HDFS로 이동

-1

Hadoop DFS에 복사하려는 서버에 수백 개의 큰 lzo 압축 파일이 있습니다. 나는 비 압축 파일을 사용하는 일반적인 명령은서버간에 압축 파일을 Hadoop HDFS로 이동

cat someFile | ssh [email protected] "hadoop dfs -put - /data/someFile"

내가 (아마 이해가되지 않습니다 cat로) 압축 된 파일에 대해 작동하지 않습니다이 있으리라 믿고있어입니다. 먼저 이름 노드에 파일을 복사해야합니까? put :

scp someFile.lzo [email protected]:~/ #on remote server 
hadoop dfs -put someFile.lzo /data/ #on Hadoop server 
rm ~/someFile.lzo

더 좋은 방법이 있어야하는 것처럼 보입니다.

2016-09-02 Sal

왜 당신이 당신의'cat' 명령이 작동하지 않을 생각하십니까 경로를 HDFS ? 너 해봤 니? 오류가 있었습니까? 오류가 무엇을 말 했습니까? – Kenster

클라이언트 시스템 (큰 파일을 가지고있는 서버)을 hadoop 클라이언트 라이브러리와 함께 설치할 수있는 경우, 어떤 경우에도 파일을 cat 할 필요가 없습니다. 사용할 수있는

명령 :

하둡은 DFS -cp localfilename hdfsipaddress : hdfsport (보통 9000) :

2016-09-03 19:31:08

답변