0
데이터 레벨에서 병합을 수행하여 스트라이프 수가 감소되도록하고 싶습니다. 이것은 파일이 매시간 처리되고 크기가 더 작은 ORC 파일이 파티션별로 생성되기 때문입니다. 하이브 병합은 스트라이프 수준의 파일을 병합 할 수 있습니다. 내가 연결하면 파일 병합은 많은 줄무늬가 추가되는 것처럼 줄무늬 수준에서만 발생합니다. 나는 단지 2-3 줄의 줄무늬를 여러 개 가지고있다. 그 안에 더 많은 줄이있는 줄무늬를 줄 싶습니다.데이터 레벨에서 오크 파일 병합 스트라이프 레벨이 아님
안녕하세요 @ 조엘, 우리는 똑같은 일을 시도했지만 스트립 수준의 병합만큼 좋았습니다. 우리는 증분 파일 처리를 가지고 있으며, 매일 여러 파일을 생성합니다. 덮어 쓰기를 수행하고 다른 테이블을 만들 수 없습니다. 덮어 쓰기가 테이블에서 일어나면 그 순간 데이터가 비어있게됩니다. 당신은 커스텀 프로그램이 다른 것을합니까? 귀하의 의견을 보내 주셔서 감사합니다. 매우 감사. – user72
사용자 정의 프로그램은 결합 된 파일을 임시 파일로 추적합니다. 그런 다음 작은 파일을 삭제하여 스왑을 실행하고 크기가 큰 결합 파일의 이름을 변경합니다. –