돼지가 WebHDFS를 통해 데이터에 액세스하도록 구성하는 방법은 무엇입니까?

Question

나는 hadoop에 익숙하지 않으므로이 질문이 실수라면 나에게 용서해주십시오. 돼지가 데이터를 얻기 위해 webhdfs를 사용하도록 구성하려고합니다. 그때의 속성이 속성 객체 (속성) 돼지의 주요 파일에 객체를 전달

Configuration configuration = new Configuration(); 
conf.set("fs.defaultFS","webhdfs://<uri>:50070"); 
properties.putAll(ConfigurationUtil.toProperties(conf)); 

- : 나는 노력이 작업을 수행하는 방법을 잘 모릅니다. 그러나 이것은 작동하지 않는 것 같습니다. hdfs에 대한 모든 액세스는 응답없이 시간 초과됩니다. 누군가 어떻게 이것이 이루어 졌는지 말해 줄 수 있습니까?

Answer 1

많은 시행 착오 끝에 내가 문제를 해결했을 수도 있다고 생각합니다. 문제는 구성이 전달 된 것과 관련이 없습니다 (필자는 위와 같이 fs.defaultFS 속성을 사용하여 클래스 경로에 core-site.xml을 유지할 수있었습니다). 문제는 내가 좋아 한 일을 실행하려고 한 돼지 스크립트 파일했다 : -

REGISTER 'hdfs://<uri>:9000/filename.jar' 

이

REGISTER 'webhdfs://<uri>:50070/filename.jar' 

이 꽤 명백했다 나는 당신의 시간을 낭비하는 경우 확실하지

을 했어야합니다. 그 죄송합니다.