'shallow'매개 변수가 True 인 경우에도 거대한 파일에 대해 filecmp.cmp가 느린 이유는 무엇입니까?

Question

filecmp.cmp을 사용하여 두 디렉토리의 파일을 비교하는 Python 스크립트를 작성했습니다. 그것은 작동하지만 지금 막 거대한 파일의 집합을 위해 그것을 달리기를 시도했다. 그것은 매우 느렸다.

shallow 매개 변수가 true (기본값) 인 경우 filecmp.cmp은 os.stat 결과 만 비교해야한다고 설명합니다.

jpg 파일의 또 다른 큰 컬렉션에 대해 스크립트가 훨씬 빠르게 실행되었습니다. 파일 크기가 파일 수보다 큰 이유가 궁금해서 os.stat 만 확인하면됩니다.

Answer 1

shallow 매개 변수에 대한 설명서가 오해의 소지가 있다고 생각합니다 *. shallow = True을 전달한다고해서 반드시 filecmp.cmp 함수가 파일의 내용을 비교할 수있는 것은 아닙니다. 파일의 크기가 같지만 크기가 다르지만 mtime이 다를 경우 해당 내용은 계속 확인됩니다.

파이썬 설치에서 cmp의 구현을 보거나 Python source repository에서 (이 순간의 현재 시점) 소스를 볼 수 있습니다.

def cmp(f1, f2, shallow=True): 
    # long docstring removed 

    s1 = _sig(os.stat(f1)) 
    s2 = _sig(os.stat(f2)) 
    if s1[0] != stat.S_IFREG or s2[0] != stat.S_IFREG: 
     return False 
    if shallow and s1 == s2: 
     return True 
    if s1[1] != s2[1]: 
     return False 

    # rest of function, which calls a helper to do the actual file contents comparisons 

_sig 도우미 함수는 파일의 stat 데이터 구조로부터 추출 된 값 터플을 반환 여기

는 cmp의 중요한 비트이다. 튜플 값은 파일 유형, 파일 크기 및 mtime (일반적으로 파일 내용이 마지막으로 수정 된 시간)입니다.

코드 발췌에 포함 된 테스트는 해당 메타 데이터를 기반으로 두 파일이 동일한 지 빠르게 판단하려고합니다. 두 파일 중 하나가 "일반"파일이 아닌 경우 (디렉토리 또는 특수 시스템 파일이기 때문에) 파일은 불균등 한 것으로 간주됩니다. 또한, 그들이 같은 크기가 아니라면, 그들은 아마도 동등 할 수 없습니다.

shallow 매개 변수는 빠른 양성 테스트를 허용합니다. shallow이 true이고 파일의 크기가 동일하고 mtime 인 경우 filecmp.cmp은 파일이 같다고 가정합니다.

당신의 프로그램에서 현재 일어나고있는 의심스러운 점은 현재 디렉토리에 정확히 같은 크기의 파일이 있다는 것입니다 (아마도 매우 유사한 내용 때문이거나 파일 크기가 데이터 형식으로 고정되어 있기 때문일 수 있습니다). 이전 데이터 세트에는 동일한 크기의 파일이 많지 않으므로 코드에서 신속하게 제거 할 수있었습니다.

* filecmp.cmp의 docstring이 버그를 나타내는 것으로 오인 된 것이라고 생각합니다. (제대로 동작을 설명하지 않았거나 실제 구현이 올바르지 않아서 문서와 일치하도록 수정해야하기 때문입니다). 그리고 나는 혼자가 아닌 것처럼 보입니다. 이 문제에 대해서는 Here is a bug report이지만 몇 년 후에는 업데이트되지 않았습니다. 이 질문에 대한 링크로 버그를 핑 (ping)하고 누군가가 수정하려고합니다!