나는 며칠 동안 Hive를 사용 해왔다. 그러나 나는 여전히 파티션으로 힘든 시간을 보냈다. 몇 달 동안 Hadoop에 Apache 로그 (결합 형식)를 기록했습니다. 이들은 (수로를 통해) 일에 의해 구획, 행 텍스트 형식으로 저장되어 /로그/YYYY/MM/DD/HH/* 예 : /logs/2012/02/10/00/Part01xx (02/10/2012 12
지도 파트를 4 일 동안 완료 한 후 hadoop 작업을 실행 중입니다. 이제는 감속 단계에서 중단됩니다 (감속기가 30 % 완료 됨) 나는 장거리지도 부분을 다시 처리 할 필요없이 가능하다면 줄일 수있는 부분 만 다시 처리 할 수있는 방법이 있기를 정말로 바란다. 아마도 내가 감속기를 하나만 가지고 있다는 것이 나빠질 수 있습니다. 감사합니다.
JobTracker 및 TaskTracker 세부 정보를 모두 JSON 형식으로 나열 할 수있는 방법을 찾고 있습니다. http://[myjobtrackermachine]:50030/metrics?format=json을 시도하면 빈 JSON 문자열이 반환됩니다 (UI에 많은 세부 정보가 있지만). 무엇이 누락 되었습니까?
기본 HBaseConfiguration을 만들려고했던 응용 프로그램을 작성했지만 응용 프로그램을 jar 파일로 패키지화하면 응용 프로그램을 127.0.0.1의 사육사를 사용하려고하기 때문에 제대로 작동하지 않으며 /etc/hbase/conf/hbase-site.xml에 지정된 것이 아닙니다. 응용 프로그램은 이런 식까지 제거 할 수있다 :이 다음 명령을 사
몇 가지 맵 축소 코드와 몇 가지 명령 줄 도구가 포함 된 항아리가 있습니다. 내가 받는다는 종속성 플러그인을 사용하여 내 단지 내 LIB directoy에 내 모든 의존성을 포장하고있어 내 종속성을 배포하려면 다음 <plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId
하둡 맵 축소 작업을 작성했습니다. 내가 로컬에서 실행할 때, 나는 reduce 작업을 지정하지 않으면 일부 임시 파일이 출력 디렉토리에 기록된다는 것을 알아 차렸다. reducers를 지정하면 임시 파일이 작성되지 않습니다. 이것은 정상적인 행동입니까? mapper가 메모리에있는 모든 것을 수행하려고 시도하고 메모리의 감속기로 전송하려고한다는 것을 의미하
우리는 약 1 억 4 천만 레코드의 데이터 크기를 처리하고 기계 학습 알고리즘을 거의 사용하지 않으려 고하는 학생들입니다. 우리는 전체 클라우드 솔루션과 mahout 구현에 초보자입니다. 현재 우리는 postgresql 데이터베이스에서 이들을 설정했지만 현재 구현은 확장되지 않고 읽기/쓰기 작업은 수많은 성능 튜닝 후 극히 느린 것으로 보입니다. 클라우드
가짜 클러스터 : 처음으로 이름이 "Root1"인 시스템 "A"에서 namenode를 만들었다 고 가정 해보십시오. 이렇게하면 그 기계에 HDFS가 생성됩니다. 이제 copyFromLocal을 사용하여 HDFS에 일부 파일을 복사하고 mapreduce를 수행하십시오. 이제 일부/conf 파일을 변경해야합니다. config 파일을 변경하고 이름을 "Root2
아마존 인스턴스에서 whirr을 사용하여 인스턴스를 시작하려고합니다. 그러나 표준화 된 whirr 명령을 사용하여 클러스터를 시작하려고 할 때, 내 hadoop 클러스터 이름이 존재하지 않는 "myclutster". 누군가 도움이 될 수 있습니까? [email protected]:~/Downloads$ whirr launch-cluster --config