webhdfs

3열

1답변

단일 노드 Hadoop 클러스터를 설정하여 HDFS로 일부 실험을 수행했습니다. 비아 웹 액세스를 모두 좋아 보이는, 전 전용 폴더를 만들고 명령 줄을 사용하여 로컬 시스템에서 파일을 복사했습니다. 그것은 모두 웹 UI에 나타났습니다. 그 후에 WebHDFS를 통해 액세스 권한을 얻습니다. 예를 들어 : curl -i "http://127.0.0.1:500

0열

1답변

돼지가 WebHDFS를 통해 데이터에 액세스하도록 구성하는 방법은 무엇입니까?

나는 hadoop에 익숙하지 않으므로이 질문이 실수라면 나에게 용서해주십시오. 돼지가 데이터를 얻기 위해 webhdfs를 사용하도록 구성하려고합니다. 그때의 속성이 속성 객체 (속성) 돼지의 주요 파일에 객체를 전달 Configuration configuration = new Configuration(); conf.set("fs.defaultFS","we

1열

1답변

WebHDFS REST API를 사용하여 파일을 만들 때 RemoteException

Hadoop의 WebHDFS REST API를 사용하여 파일을 만들지 못했습니다. 문서를 따르면서, 나는 이것을하고있다. curl -i -X PUT "http://hadoop-primarynamenode:50070/webhdfs/v1/tmp/test1234?op=CREATE&overwrite=false" 응답 : HTTP/1.1 307 TEMPORARY

0열

1답변

Hadoop WebHDFS에서 OAuth2를 활성화하는 방법

Hadoop 버전 2.8.2를 실행 중이고 WebHDFS 클라이언트 응용 프로그램에 대한 OAuth 2 클라이언트 자격 증명 부여 흐름을 구성하려고합니다. 나는 여기에 문서화 된 지침을 따랐다 : WebHDFS REST API. 이 페이지에서 OAuth2를 검색하여 WebHDFS 용 OAuth 2 구성 섹션을 찾으십시오. 여기 내가 HDFS-site.xml

2열

2답변

Azure Data Lake Store의 디렉토리 크기가

ADLS 디렉토리의 크기를 얻을 수있는 간단한 API가 있습니까? C#의 무언가를 사용하는 것이 좋지만 꼭 필요한 것은 아닙니다.

7열

2답변

--negotiate with curl을 사용할 때 keytab 파일이 필요합니까? 엔드 포인트를 고정 된 Kerberos를 연결하는 방법을 설명

는 documentation 다음 보여준다 curl -i --negotiate -u : "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=..." -u 플래그가 제공되어야하지만, 말림에 의해 무시된다. --negotiate 옵션을 사용하면 curl이 kinit 명령으로 미리 생성 된 키탭을 찾지 않거나 자격 증명을 묻는 메시지

0열

1답변

자바 API 원격 HDFS에 로컬 파일을 업로드하지만

나는 하나의 노드 hdp2.5 클러스터에 파일 업로드이 매우 간단한 업로드 방법이 로컬 호스트에 연결 다음을 무슨 추적 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("webhdfs://hdsfhost:50070", conf); fs.copyFromLoca

1열

1답변

HDFS에있는 파일의 라인 수를 찾기 QC 파일에있는 카운트와 비교하기 위해

데이터 파일과 qc 파일이 HDFS에로드되어 있으며 QC 파일에있는 수와 데이터 파일 수를 비교하려고합니다. 이를 위해 QC 파일의 카운트 부분을 추출하고 데이터 파일에 wc -l을 수행하는 쉘 스크립트를 작성했습니다. QA 파일의 경우 는 : : qccount=$(webhdfs -cat hdfs://${CLUSTER_NAME}$hdfs_src_path/$

2열

1답변

webhdfs를 사용하여 HDFS 디렉토리 내용을 나열하는 방법은 무엇입니까?

webhdfs을 사용하여 HDFS의 디렉토리 내용을 확인할 수 있습니까? 정상적으로는 hdfs dfs -ls으로 작동하지만 대신 webhdfs을 사용합니다. 파이썬 2.6을 사용하여 webhdfs 디렉토리를 어떻게 나열합니까?

2열

1답변

WEBHDFS REST API를 사용하여 Windows 서버/로컬 폴더/데스크톱에서 HDFS로 파일 복사/이동

WEBHDFS REST API 호출을 사용하면 Windows 시스템 (Windows 서버 또는 Windows 로컬 폴더 또는 데스크톱)에서 Hadoop- HDFS 파일 시스템? 예이면 모든 샘플 명령 정보가 필요합니까? 내가 노력하고 내가 Windows를 사용 할 수 있었다 -> (사용하여 FTP)을 -> 리눅스 디렉토리 -> (사용 webhdfs가) ->