2012-01-07 6 views
3

맵 축소 작업 디렉토리에서 키/값 데이터를 시각화하기위한 간단하고 쉽게 시작된 Java 도구가 있습니까?Hadoop : 키 값 데이터 및 개발 용 파일을 시각화하기위한 도구

특히 20 개의 작업 맵을 사용하여 작업 흐름을 줄이고 개별 파일을 클릭하고 데이터를 살펴보고 파일 크기 막대 그래프를보고 싶습니다.

  • 몇 가지주의 예를 들어, 여기에 있습니다 -

    • 일부 파일은 한 직렬화 된 데이터 (텍스트뿐만 아니라)
    • 물론,이 시스템은 아마도 "클라우드 규모"에서 사용하는 어리석은 것 , 오히려 자사의 dev에 도구입니다.

그러나, 이러한 도구는 현상 유용한 것이 큰 로컬 접속 m/R 파이프 디버깅.

이것은 개발 용입니다 (실제 클러스터에서 분산 된 키/값 hadoop 데이터를 시각화하지 않으려 고합니다).

답변

1

체크 아웃 단계별
KarmaSphere Studio

모니터 작업 실행 - 결과와 워크 플로우 : 맵리 듀스 작업의 각 단계에서의 결과 출력을 보여줍니다.
- 데스크톱에서 Hadoop 로그 : 데스크톱에서 Hadoop 로그에 쉽게 액세스합니다.
- 작업 실패 옵션 : EMR에 대한 작업 실패시 지정된 스크립트의 자동 호출과 같은 작업 실패 옵션을 지정할 수 있습니다.

+0

감사합니다 - 무거운 중량 유틸리티처럼 보입니다 ... 특정 문제를 해결하기 위해 카르마 영역을 어떻게 사용할 수 있습니까? – jayunit100

+0

미안하지만, karmasphere는 내가 필요로하는 것을하지 않는다는 것을 알았지 만, 그렇게 보이기도합니다. k-sphere에서 작업을 실행할 때만 작업 데이터를 모니터링하고 찾아 볼 수 있습니다. – jayunit100

+0

ok - 테스트를 위해 KarmaSphere에서 실행하지 않으시겠습니까? –