hadoop eclipse plugin 빌드/구성

Question

리눅스 환경에서 hdfs (apache hadoop)를 구성하고 시작할 수있었습니다. 나는 HADOOP ECLIPSE PLUGIN으로 hadoop 환경을 설정하기 위해 다양한 방법을 시도했다. 일식에 의해 인식되는 플러그인 항아리 만이 1280 개의 jira 문제에 있으며, 다른 방법도 hadoop src에서 이클립스 플러그인을 빌드하는 것처럼 인식하지 못합니다. 1280 링크의 패치 된 jar에 "127.0.0.1:3515 EOFException에 연결할 수 없습니다"라고 표시됩니다. 그리고 많은 blogs/forums은 hadoop을 패치하고, 다양한 도구 등으로 빌드하는 다른 방법을 말합니다. Eclipse가 구성 할 안정된 hadoop 프로젝트가 없으므로 개발자는 신속하게 환경을 가져 와서 다양한 예제 작업을 할 수 있습니까? 나는 정상적인 방법으로 hadoop을 이해하지 못하기 때문에 Cloudera VM을 사용하고 싶지 않으며, 설치는 큰 파일이있는 프로세스입니다. 제발 누군가가 안정된 방법으로 hadoop 환경을 얻을 수 있도록하시기 바랍니다.

감사 차크리는

Answer 1

당신은 성공적으로 하둡을 설치 했습니까? 내 0.20.2 하둡 설정에서 다음 단계는 (내가 명령 줄을 통해 하둡 자체를 설치 한 후) 작동하는 이클립스 플러그인을 얻을 일 :

1. Eclipse를 설정, 플러그인 및 다시 복사; u se the patched plugin (hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar를 로컬 Eclipse/plugins 폴더에 추가).
2. 지도/축소보기로 전환하십시오. Map/Reduce Locations 탭이 나타나지 않으면 Window-> Show View-> Other를 선택하여 활성화하십시오. hdfs (Hadoop 설정의 core-site.xml에서 찾을 수 있음) 및 mapreduce 작업 (mapred-site.xml에서 찾을 수 있음)에 대한 올바른 포트가 실행 중인지 확인하십시오. 당신은 마우스 오른쪽 버튼으로 클릭하고 HDFS에 파일을 업로드 할, 그래서 만약 이클립스 플러그인에서
3. 은 "DFS의 위치는"확인
4. 새로운 하둡 프로젝트를 만들려면 새로 방금 추가 된 새로운 데이터를 볼 수 수동 새로 고침이 필요합니다 이클립스, 새 프로젝트 ->지도/축소 프로젝트

Answer 2

@Claudia 새로운 hadoop 위치를 생성하는 동안이 설정 이외의 다른 설정은 고급 매개 변수를 변경하는 것과 관련이 있습니까? 일반 탭에서 포트가 올바르지 만 여전히 예외가 발생합니다 - 오류 : localhost/127.0.0.1에 대한 호출 : 연결 예외에서 9000 실패 : java.net.ConnectException : 연결 거부 마스터 노드는 eclipse와 동일한 노드입니다. 설치되어 있습니다.

Answer 3

ConnectException과 관련하여 Claudia의 지시에 따라 다른 모든 작업을 수행 한 경우 DFS 위치에서이 예외가 계속 발생하면 사용중인 플러그인이 hadoop의 버전 또는 버전과 호환되지 않음을 의미합니다. 당신이 사용하고있는 식 (일반적으로 후자). 이 경우, 사용중인 Eclipse 버전에 대한 새 플러그인을 컴파일하려면 here을 참조하십시오.