루비 zlib 방대한 데이터를 수축

Question

나는 거대한 파일 (4 기가)에 Zlib :: Deflate.deflate를 사용하려고합니다. 그 일을하는 데 명백한 문제가 있습니다. 그 중 첫 번째는 전체 파일을 한꺼번에 메모리에로드 할 수 없다는 것입니다. 스트림과 함께 작동하기 때문에 Zlib :: GzipWriter가 작동하지만 zlib 압축이 아닙니다. 어떤 아이디어?

Answer 1

Zlib :: Stream을 인스턴스화하고 큰 파일 조각에서 데이터를 입력 해보십시오. Zlib :: Deflate :: deflate는 그 일을 배경으로합니다. 그 자체로

z = Zlib::Deflate.new 

File.open "big_uncompressed_file" do |f| 
    File.open "big_compressed_file", "w" do |w| 
    f.each do |str| 
     w << z.deflate str, Zlib::SYNC_FLUSH 
    end 
    end 
end 
z.finish 
z.close 

ruby zlib docs

notes on zlib flush flags