첫 번째 Hadoop (Unix에서) 프로그램 실행 (Windows 7)

Question

동일한 컴퓨터에서 Hadoop으로 실행되는 UNIX 컴퓨터의 VMWare가 있습니다. Windows 7에서 Java를 사용하여 샘플 코드를 실행하고 있습니다.
코드는 여기에서 가져옵니다. http://pragmaticintegrator.wordpress.com/2013/08/16/writing-a-hadoop-mapreduce-task-in-java/

지도 축소 예제를 실행하고 싶습니다. 프로그램이 Hadoop 인스턴스에 어떻게 연결되는지 이해하지 못했지만, 여기서 코드를 정의해야합니까?

사실, 제 질문은 어떻게 둘 다 연결해야합니까?
Hadoop 자격 증명으로 업데이트해야하는 datasourse 파일이 있습니까?

아니면 내가 잘못하고 있니?

Answer 1

자습서의 경우 Hadoop 컴퓨터에서 실행해야합니다. 다른 컴퓨터에서 실행할 수는 있지만 Windows 인 경우 라이브러리가 Linux에서 빌드되기 때문에 문제가 발생할 가능성이 큽니다.

작업을 원격으로 실행하려면 다음을 수행하십시오. 작업 구성에 약간의 노력을 기울여야합니다.

• Windows 머신에 필요한 핵심 Hadoop Jar 및 라이브러리를 설치하십시오. 이를 위해 웹 응용 프로그램을 사용할 수 있습니다.

• 그런 다음 작업을 구성하고 호출 할 코드를 작성하십시오. 작업이 올바른 HDFS 및지도 감속기를 찾을 수 있도록 다음 값을 설정해야하는 것을 제외하고는 곧바로됩니다.

  conf.set ("mapred.job.tracker", "192.168.xx : 54311 ");

  conf.set ("fs.default.name", "hdfs : //192.168.x.x : 54310"); 이 때문에 하둡 API에 here

  편집을 읽어보다

당신은 더 많은 코드가 필요합니다 : 입력 파일에 배치 또는 HDFS-사이트 내에서 정의 된 HDFS 파일 시스템으로 이동해야합니다. xml. HDFS 파일 시스템을 포맷하지 않았다면 먼저 그렇게해야합니다. 자세한 내용은 HDFS 사용 설명서 HERE을 참조하십시오.

마지막으로 추가 도움이 필요하면 실행하려는 코드와 오류 출력을 게시해야합니다.

행운을 빌어 요, 팻

, 프로그램이 지금 실행이 예외지고