bzip2

5열

1답변

나는 pythons bz2 모듈을 사용하여 큰 jsonl 파일 (bzip2 압축 17GB)을 생성 (압축)합니다. 그러나 나중에 pbzip2를 사용하여 압축을 풀려고하면 CPU 코어를 사용하는 것으로 보이는데 이는 상당히 느립니다. 내가 pbzip2로 압축하면 압축 해제시 여러 코어를 활용할 수 있습니다. 파이썬에서 pbzip2 호환 형식으로 압축하는 방법

0열

1답변

Apache Flume을 사용하여 bzip2 파일을 수집하십시오.

bzip2에서 압축 파일을 처리해야합니다. flume을 사용할 수 있습니까? 나는 스풀링 디렉토리와 BlobDeserializer로 시도했지만 싱크대에서는 읽을 수 없다. 미리 감사드립니다.

1열

3답변

파일을 열고 다른 기능에서 NewReader를 만든 후 파일을 닫는 방법?

func OpenFile()에서 gzip 파일과 bzip2 파일을 읽길 원합니다. 나중에 다른 유형을 추가 할 것입니다. func OpenFile(name string) io.Reader{ file, err := os.Open(name) if err != nil { log.Fatal(err) } if(strings

0열

1답변

URL 스트림에서 전체 압축 파일을 읽을 수없는 이유는 무엇입니까?

위키 백과 사전을 자바에서 URL에서 직접 파싱하려고합니다. , String fileURL = "https://dumps.wikimedia.org/cswiktionary/20171120/cswiktionary-20171120-pages-articles-multistream.xml.bz2"; URL bz2 = new URL(fileURL); Buffere

0열

1답변

datameer, presto 및 spark와 같은 도구를 사용할 때 압축 기술이 더 잘 작동합니다.

더 나은 압축 기술을 선택하기 위해 노력하고 있습니다. bzip2으로 시도했지만 압축에 시간이 더 걸립니다.

1열

1답변

전제 SQL 서버 데이터베이스 데이터를 Parquet 형식으로 Azure에 복사

건축/perf 질문이 여기에 있습니다. 전 ~ 10TB의 총 200 개 테이블을 가진 전제 SQL 서버 데이터베이스가 있습니다. HDInsight Spark를 통한 데이터 과학 분석을 위해이 데이터를 Parquet in Parquet 형식으로 제공해야합니다. 이 데이터를 Parquet 형식의 Azure (Blob storage 또는 Data Lake)로 복

0열

1답변

리눅스에서 여러 파일을 하나로 압축하고 압축하여 소스 파일을 제거하는 방법은 무엇입니까?

아래 디렉토리에 파일이 있습니다. file001 file002 . . file009 나는 하나로 압축하고 원본/소스 파일 (file001 .. file009)를 제거 할 필요가 그래서 디스크 공간을 확보 할 수 있습니다. 이 tar -cvf file00.tar file00* 그런 다음 하나의 명령을 사용하여 명령 이전에 내가 보관 및 압축했다

0열

1답변

글 쓰는 동안 Gzip 및 Bzip2 파일의 오버플로를 어떻게 감지 할 수 있습니까?

파일을 쓰는 동안 지정된 크기를 초과하는지 확인해야합니다. 내가 지정한 크기에 도달하면 필기를 중지하고 예외를 throw해야합니다. 정상 파일 예 :는 $handle = fopen($filename, 'wb'); while (true) { // its work if (fstat($handle)['size'] + strlen($string

0열

1답변

LZW 알고리즘 - 이진 압축

파일 압축 프로그램을 작성하려고합니다. 지금까지 Huffman 코딩 알고리즘을 구현했지만 충분하지 않다는 것을 알았습니다. 압축은 최소화되어 있고 수천만 비트 만 압축 할 수 있으며 대개 원본 파일의 1 % 만 압축 할 수 있습니다. 나는 그것에 관한 정보를 검색했고, bzip2와 gzip 같은 파일 압축 프로그램의 대부분이 LZW와 Huffman 알고리즘

0열

1답변

7z bzip2 형식 명령 줄 오류

명령 줄을 사용하여 bzip2 형식으로 몇 개의 텍스트 파일을 압축하려고합니다. 다음은 실행중인 명령의 형식입니다. 7z -tbzip2 -r "C : \ Users \ ABC \ Desktop \ TestS \ test.bzip2"* .txt "C : \ Users \ ABC \ Desktop \ 테스트 " 이 폴더에는 하위 폴더가 없습니다. 내가 얻는 오