2012-02-06 3 views
0

내가 hadoop과 하이브를 테스트하고 있는데, 로그 분석에 사용하고 싶습니다.hdfs에있는 압축 파일에 로그를 쓰거나 추가 할 수 있습니까?

여기에 질문이 있습니다. hdfs에있는 압축 파일에 로그를 쓰거나 추가 할 수 있습니까?

우리 시스템은 매일 많은 로그 파일을 생성하므로 매 시간마다 이러한 로그를 압축하여 hdfs에 넣을 수 있습니다.

하지만 이미 hdfs에 있고 압축 된 파일에 로그를 기록하려면 어떻게해야합니까?

이러한 파일은 압축되지 않았습니까?이 작업은 쉬운 것처럼 보이지만 압축 된 로그에 로그를 쓰거나 추가하는 방법은 무엇입니까?

그럴 수 있습니까?

누구든지 내게 조언을 해 줄 수 있습니까?

대단히 감사합니다!

답변

0

HDFS는 모든 파일 시스템과 유사하지만 분산되어 있습니다. 압축 알고리즘이 appending을 지원하면 HDFS에서 appending을 수행 할 수 있어야합니다. 일부 Hadoop 릴리즈 만 HDFS 추가를 지원합니다.

+0

Parveen에 감사드립니다. 따라서 hdfs의 압축 파일에 로그를 쓰거나 추가 할 수 없습니다. 나는이 일을 할 수있는 다른 방법을 발견 할 것이다. 고마워. – SSolid

0

zlib 배포판에는이 작업을 수행하는 두 개의 예제 프로그램이 있습니다. gzappend 및 gzlog. zlib 분산은 http://zlib.net에서 얻을 수 있습니다.