hadoop

0열

1답변

나는 elastic-mapreduce 루비 라이브러리를 사용하여 일의 흐름을 시작할 수있었습니다. 이제 작업이 완료된 후에도 여전히 '살아있다'는 인스턴스가 있습니다. SSH를 사용하여 로그인했지만 다른 작업을 시작하려고하지만 hadoop이 입력 파일을 찾을 수 없기 때문에 다양한 시도가 실패했습니다. 로컬 및 S3에 입력 파일을 저장하려고했습니다. 내 S

5열

1답변

Hadoop을 제거하는 방법은 무엇입니까?

나는 맥 OSX를 사용하여 제거/설치 재 싶어 (청소) 하둡 날 난 당신이 정상을 따른다면 , 당신에게

0열

2답변

Hadoop 맵 정렬 및 키 값 감소

각 행에 임의의 정수가있는 파일이 있고 Hadoop을 사용하여 파일을 정렬하려면 내 매퍼 및 축소 기의 입력/출력 키와 값은 무엇입니까?

4열

1답변

하둡은

임 다이빙을 분할로 HDFS에 저장된 파일을 배우려고 노력하고 다른 프로세스로 읽는 똑같이 크기의 파일을 분할 (다른 시스템에.) 내가 기대하는 것은 내가 1200 개 기록을 포함하는 SequenceFile이있는 경우 12 프로세스에서는 프로세스 당 약 100 개의 레코드가 표시됩니다. 파일을 분할하는 방법은 데이터의 길이를 구한 다음 프로세스 수로 나누고

1열

1답변

하둡 : 때 java.io.IOException : 재산권에 대한 올바른 로컬 디렉토리 : mapred.local.dir

나는 다음과 같은 스택 추적에 실패 하둡 작업을 실행하면 11/10/06 13:12:49 INFO mapred.FileInputFormat: Total input paths to process : 1 11/10/06 13:12:49 INFO mapred.JobClient: Cleaning up the staging area hdfs://localhost:

1열

1답변

Hadoop API copyMerge 기능을 사용하는 방법? addString 매개 변수 란 무엇입니까?

Hadoop API (FileUtil)에서 copyMerge 기능을 알고 있거나 사용 해본 적이 있습니까? 이 함수에서 addString 매개 변수는 무엇입니까? 파일을 병합하는 방법을 어떻게 설정합니까? 예 부품 번호가 1,2,3,4,5 ... 인 경우 한 파일에 오름차순으로 결합하고 싶습니다. 어떻게해야합니까? API에 대한 세부 사항 : http://

0열

1답변

Hadoop 이클립스 플러그인 : 콘솔에서 출력을 볼 수 없습니다.

hadoop-0.20.2를 http://www.apache.org/dyn/closer.cgi/hadoop/common/에서 사용하고 있습니다. 이클립스 플러그인 hadoop-0.20.1-eclipse-plugin.jar을 http://code.google.com/p/hadoop-eclipse-plugin/에서 사용하고 있습니다. 파일을 사용하여 파일을 HD

4열

1답변

사용자 정의 InputFormat와 하이브

업데이트 : 좋아, 그것은 내가 새로운이다 import org.apache.hadoop.mapreduce 대 이전 인 InputFormat API의 최신 버전 (import org.apache.hadoop.mapred를 사용하고 있기 때문에 아래에 작동하지 않는이 이유를 밝혀). 내가 가진 문제는 기존 코드를 새로운 코드로 이식하는 것이다. 누구든지 이전

1열

2답변

하이브 JDBC 드라이버와 하이브 쉘을 같은 DB에 어떻게 연결시킬 수 있습니까?

다음과 같이 시작된 기본 포트 10000에서 실행되는 하이브 서버가 있습니다. hive --service hiveserver 그런 다음 Java 프로그램 (자습서!)을 사용하여 Hive JDBC Client을 사용하여 연결합니다. Connection con = DriverManager.getConnection("jdbc:hive://localhost:100

5열

3답변

하둡 -

내가 내 conf/mapred-site.xml <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>4</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name>