병렬 압축 알고리즘

Question

대부분/대부분의 압축 알고리즘에는 병렬 압축 해제 구현이 있습니다 (예 : gzip의 경우 pigz).

그러나 태스크에서 발생하는 프로세서의 수에 비례하여 시간이 단축되는 경우는 거의 없으며 6 개 이상의 프로세서에서 전혀 이익을 얻지 못합니다. 즉, 이론적으로 빠른 100 개 CPU를

1. 모든 최고의 :

을 주셔서 감사보다 100 배 할 것 - 내가 디자인에 내장 된 병렬 압축 해제 어떤 압축 형식이 있는지 알고 궁금

Answer 1

당신은 아마 I/O 경계입니다. 어떤 시점에서 더 많은 프로세서가 입력 또는 출력을 기다리는 경우 도움이되지 않습니다. 대기중인 프로세서가 더 많아집니다.

입력 파일이 충분하지 않을 수도 있습니다.

pigz는 I/O 바인딩이 아닌 경우 실제로 충분히 큰 입력에 대해 100xp로 100x 빠릅니다. 기본적으로 pigz는 작업 할 각 프로세서에 128K 블록을 보내므로 모든 100 개의 프로세서에 작업을 제공하려면 입력 값이 최소 13MB가되어야합니다. 이상적으로 모든 프로세서가 동시에 전체 스팀으로 작동하도록하는 것보다 더 좋은 비트입니다.