hadoop

9열

1답변

개발 중에 RStudio 내에서 소스 (즉, 함수 등을 정의 할 수 있어야 함)를 원하고 명령 행을 통해 #! /usr/bin/env Rscript 구문을 사용하여 실행할 수있는 단일 R 파일에 코드가 있습니다 (실제로 Hadoop 사용) . 후자의 경우 Rscript이 마지막으로 분석을 시작해야합니다 (즉, main() 함수 호출을 사용). 전자의 경우,

2열

1답변

Hadoop + MapReduce로 비정형 데이터 처리

비정형 CSV 파일을 처리하는 데 hadoop을 사용하고 싶습니다. 이 파일은 다양한 행 길이의 다른 유형의 여러 데이터 값을 포함한다는 의미에서 구조화되지 않았습니다. 또한이 파일은 수 백 가지이며 파일 크기가 비교적 큽니다 (> 200MB). Book , ISBN , BookName , Authors , Edition Book , 97

0열

2답변

CDH3의 돼지 소스 코드 Vmware image

나는 cludder cdh3 vmware 이미지를 사용하여 프롬프트에서 돼지 스크립트를 실행하고 있습니다. 나는 우분투에서 소스 코드를 보려고 노력하고있다. 소스 코드에 연산자를 추가하려고합니다. 그래서 POPackage.java, POLocalrearrange.java 등과 같은 파일을보고 싶습니다. 누군가가 디렉토리 계층의 이미지에서 소스 디렉토리를 지

2열

2답변

Hadoop은 키를 여러 감속기 풀로 분할합니까?

나는 매우 큰 양의 데이터에 대해 최대 32 개의 감속기를 사용하여 hadoop 작업을 실행하려고합니다. 그러나 각 감속기의 출력을 보면 하나 이상의 감속기가 다른 값을 가진 키를 얻는 것을 볼 수 있습니다. 더 많은 감속기를 사용하는 동안이 문제를 피할 수 있습니까? LE : 텍스트 클래스를 대신 사용해 보았습니다.하지만 문제는 정상적으로 작동하지만 힙

0열

2답변

/tmp/hsperfdata_hadoop을 옮길 수 없습니다

내 hadoop이 완벽하게 실행되고 있습니다. hadoop-0.20.2를 사용하고 있습니다. 하지만 문제는 내가/tmp/hsperfdata_hadoop 파일을 옮길 수 없다는 것입니다. 잠시 후에/tmp가 데이터로 채워지고 프로세스가 시간 초과되거나 죽게됩니다. 이 폴더를 옮겨야합니다. 설정을 도와주세요.

3열

2답변

하이브 작업을 Azkaban에서 사용하는 방법?

정기적 인 하이브 작업에 Azkaban을 사용하고 싶습니다. Azkaban 설명서를 살펴 봤는데 기본적으로 Hive 작업을 지원하지 않는 것 같습니다. 어떻게이 두 가지를 함께 사용할 수 있습니까? 아즈 카반에서 사용할 수있는 "명령 작업"으로 하이브 작업을 실행해야 하겠지만 어쩌면 누군가 그것을 해냈을 것입니다. 오지 (Oozie)를 얼마 동안 사용하고

1열

1답변

축소가 16 %에서 멈추는 이유는 무엇입니까?

맵 축소 작업이 있는데 비교적 작은 데이터 세트로 실행하려고합니다. 계속 줄이기 작업이 16 %를 고수하는 문제가 계속 발생합니다. 내 작업 추적 로그를 읽었습니다 : 2012-03-21 17:09:23,829 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201203211704_0001_r_000000_0 0.

2열

1답변

Jaspersoft iReport - 하이브 쿼리의 축소 기 수를 설정하는 방법은 무엇입니까?

하이브 쿼리를 위해 감속기의 수를 설정하려고 할 때를 제외하고는 정상적으로 실행되는 하이브를 사용하여 Jaspersoft iReport를 사용하여 일부 보고서를 실행하려고합니다. 이 질문은 Hive JDBC를 사용하여 감속기의 수를 설정하는 일반적인 경우에 적용될 수 있다고 생각합니다. 어떻게하면됩니까?

1열

1답변

Hadoop은 디렉토리에 대한 시간을 설정할 수 없습니다. 이유가 무엇입니까?

Hadoop 문제가 발생했습니다. Hadoop 테스트 프로그램을 실행하여 액세스 시간을 변경하고 hadoop 파일 시스템의 일부 오류가 발생한 디렉토리의 시간을 수정하십시오. 그리고 나는 그것에 대해 모른다. 누군가에게 유용한 조언이 있기를 바랍니다.

1열

1답변

Hbase Hadoop 클러스터 .. java.io.IOException : java.lang.NoSuchMethodExceptio

hadoop 클러스터에서 실행중인 hbase 클러스터를 설정하려고합니다. Hbase 클라이언트에서 테이블을 만들려고하면 두 클러스터가 모두 실행되고 있지만 로그에 다음 오류가 표시됩니다 !! compute-0-11 : hadoop 클러스터의 이름 노드입니다. 클러스터 및 직업/클라이언트 소프트웨어의 버전 사이에 불일치가있을 때 2012-03-18 01:18