2017-11-08 14 views
3

스파크 히스토리 서버에 몇 가지 문제가있어서 수동으로 lz4 로그의 압축을 풀려고했습니다. liblz4-tool을 설치하고 응용 프로그램 로그 application_1510049252849_0303.lz4을 다운로드했습니다. lz4 ~/application_1510049252849_0303.lz4로 압축을 해제 할 때 그러나 나는 다음과 같은 오류 있어요 :스파크 히스토리 로그 수동으로 압축 해제

Error 44 : Unrecognized header : file cannot be decoded 

을 그리고 모든 스파크 역사 lz4 파일이이. 해결 방안은 무엇인가? 수동으로 열 수 있습니까?

답변

3

어제 lz4 이벤트 로그의 압축을 푸는 동안 동일한 오류가 발생했습니다. 분명히 hadoop lz4 코덱과 다른 lz4 코덱간에 약간의 비 호환성이있는 것 같습니다 : https://issues.apache.org/jira/browse/HADOOP-12990을 참조하십시오.

스파크 히스토리 서버는 lz4에서 압축 된 이벤트 로그를 읽을 수 있으므로 수동으로 압축을 풀 필요가 없습니다. 희망이 도움이됩니다.

+1

실제로 예, Spark api를 사용하여 간단한 압축 풀기 앱을 작성했습니다. –