2012-03-25 2 views
0

페이지 랭크 (PageRank) 실행에 대한 의심 : http://blog.xebia.com/2011/09/27/wiki-pagerank-with-hadoop/나는 아래의 코드를 실행하기 위해 노력하고있어

javac의이 오류를 보여줍니다,하지만 나는 출력을 얻는 방법을 몰라? 다음과 같은 실행 단계입니다.

$ javac -Xlint -classpath /home/james/Downloads/hadoop-0.20.203.0/hadoop-core-0.20.203.0.jar -d doc WikiPageRanking.java 
$ jar -cvf WikiPageRanking.jar -C doc/ . 
$ bin/hadoop dfs -mkdir /user/james/wiki/in 
$ bin/hadoop dfs -copyFromLocal wiki-micro.txt /user/james/wiki/in 
$ bin/hadoop jar WikiPageRanking.jar org.myorg.WikiPageRanking /user/james/wiki/in /user/james/wiki/result 

이게 맞습니까? 나는 진지하게 입력과 출력 경로 인 마지막 단계를 의심한다 !! 코드에서 wiki/in을 사용 했으므로 여기서도 같은 경로를 사용하고 샘플 데이터 세트를이 경로에 복사했습니다. 지도 축소 프로세스가 시작되지만 출력이 없습니다!

답변

0

다음과 같은 명령을 제공 대상 : 자동 콘솔 작업의 결과를 덤프하지 않는 작업을 실행

hadoop fs -ls /user/james/wiki/result 

hadoop fs -text /user/james/wiki/result/part* 

- 경로에 귀하의 경우 (그들은 가장 일반적으로 HDFS에 저장됩니다/사용자/james/wiki/result). 첫 번째 명령을 사용하여이 디렉토리의 내용을 볼 수 있으며 일부 파일 *이 있다고 가정하면 두 번째 명령은 내용을 디스크에 덤프합니다.

최종 결과 - 출력 형식이 SequenceFileOutputFormat이고 사용자가 사용자 지정 키/값 개체를 사용하여 두 번째 명령을 수정하여 병을 포함시켜야합니다.

hadoop fs -libjars WikiPageRanking.jar -text /user/james/wiki/result/part* 
+0

hdfs에 저장되어 있다고 생각하기 때문에 첫 번째 2 명령을 실행할 때 해당 파일이 없다고 표시됩니다. 로컬 파일 시스템. – user1291453

+0

/user는 일반적으로 HDFS의 사용자 홈 디렉토리이므로 (* nix의/home과 반대) HDFS를보고 있습니다 (hadoop 구성이 로컬 파일 시스템을 기본값으로 사용하도록 구성하지 않은 경우). 당신의 일이 실제로 오류없이 성공 했습니까? –

+0

예,지도 작업도 완료되었지만 출력 파일이 비어 있습니다. – user1291453