파일을 HDFS에서 로컬로 복사해야합니다. 이제 2 가지 옵션이 있습니다. 1) 어느 하둡 네이티브 자바 API (파일 시스템)를 사용 또는 2) 사용 WebHDFS, 이 누군가가 나에게 옵션을 선호하는 이유는 무엇 알려 주시기 바랍니다 [I 돈이 t 내 클러스터에 활성화에 문제가]?
다른 클러스터로 distcp를 사용하여 많은 양의 데이터를 펌프하는 동안 이상한 문제가 발생했습니다. 0.20 대상 클러스터를 하둡 : = ~ 우리의 클러스터 (82) SRC 클러스터의 노드 (70) 총 매퍼의 일부 번호를 알려주지하려면, 데이터 크기 = 320기가바이트 수 하둡 2.0.2 이 작업을 시작하면 모든 매퍼가 성공적으로 완료되지만 마지막 작업은
나는 hadoop 파일 시스템을 처음 사용합니다. Google에서 Hadoop FileSystem과 관련된 유용한 링크를 찾지 못했습니다. Hadoop FileSystem을 사용하는 동안 Kerberose를 사용하여 인증하려고합니다. 샘플 코드 : Path src = new Path("C:\\testing\\a\\a.avro");
Path dest
사실 WebHDFS는 SequenceFiles을 지원하지 않습니까? 내가 말하는 바가 없습니다. 나는 보통 작은 파일 문제가 있고 SequenceFiles이 충분히 잘 작동한다고 믿지만 WebHDFS를 사용해야합니다. WebHDFS를 통해 SequenceFile을 만들고 추가해야합니다.
HDFS에서 vertica로 데이터를로드하고 싶지만 데이터의 time_stamp 값은 Unix epoch 형식이며 Vertica의 TIMESTAMPTZ로 Vertica에로드하려고합니다. 이 경우에는 캐스트 기능을 사용하는 법을 모릅니다. 누구든지 이걸 좀 도와 주실 래요? 나는 COPY search_mmx2 SOURCE Hdfs(url='http://had
api/web-services를 통해 원격 Hadoop 클러스터 버전을 어떻게 식별 할 수 있습니까? 즉 클러스터가 1.x 형 또는 2.x 형 중 어느 것인가? 동일한 API/웹 서비스를 사용할 수 있습니까? 나는 webhdfs를 연구 했습니까? hadoop Filesystem하지만이를 수행 할 방법을 확인할 수 없습니까?
node.js 및 HDFS에 대한 정보를 읽어야합니다. 저는 Centos에서 일합니다. HDFS에 파일이 있고 콘솔에서 읽고 인쇄하고 싶습니다. node.js 프로그램을 작성하여 파일을 작성하면 작동합니다. 그러나 HDFS 파일을 인쇄하려고 할 때 작동하지 않습니다. var WebHDFS = require('webhdfs');
var hdfs = Web
우리가 (인큐베이터 단계에서)이 WebHDFS 클라이언트를 통해 벌금을 통신 Windows 응용 프로그램 HTTP ://hadoopsdk.codeplex.com/wikipage?title=WebHDFS%20Client & referringTitle = 홈 Cloudera Hadoop 설치. 다음 단계는 http를 통해 Kerberos 인증을 설정하는 단계입
webhdfs API를 통해 HDFS에서 파일을 열려고합니다. 나는 파일을 생성 및 업로드,하지만 난 열려고하면 나는 마스터 노드에서 나는 여러 컴퓨터에서이 시도 다음 명령 curl -i -X GET "http://ec2-xx-xx-xx-xx.eu-west-1.compute.amazonaws.com:50070/webhdfs/v1/tmp/tmp.txt?op=