부스트 메모리 매핑 파일이 HDD보다 여유 공간보다 많은 디스크 공간을 할당했을 때 어떻게 오류를 감지 할 수 있습니까?

Question

내 모델링 코드에서 부스트 memory mapped files을 사용하여 디스크에 대용량 배열을 할당합니다.

잘 작동하지만 디스크 드라이브의 여유 공간보다 큰 배열을 할당하는 상황을 감지 할 수있는 방법을 찾을 수 없습니다. 내가 allocted되지 않는 메모리의 일부에 기록 될 때까지

이

boost::iostreams::mapped_file_params file_params; 

    file_params.path = path; 
    file_params.mode = std::ios::in | std::ios::out; 
    file_params.new_file_size = static_cast<size_t>(8E9); # About 10GB 
    file_params.length = static_cast<size_t>(8E9); 

    boost::iostreams::mapped_file result; 

    result.open(file_params); 

나는 심지어의 becaue (resuld.data()에서 작업 할 수 있습니다 : 행복하게 실행하는 코드를 다음과 같은 예를 들어 (내가 HDD 여유 공간 8E9 바이트 이하가 있다고 가정) HDD 공간)를 누락 한 후 나는 다음과 같은 오류 얻을 :

memory access violation at address: 0x7e9e2cd1e000: non-existent physical address 

나는 비밀 memory access violation를 얻기 전에이 오류를 감지 할 수있는 방법이 있나요를?

필자는 실제로이 테스트를 수행했습니다. 파일이 파티션의 사용 가능한 공간보다 크면 코드에 메모리 액세스 위반이 있으며 코드가 작 으면 코드를 편집하지 않고 파티션의 여유 공간을 변경하여 테스트했습니다. .

가능한 솔루션 디버깅

제로와 I std:fill 파일의 내용이 아직도 memory access violation을받을 경우하지만이 오류가 할당 근처에 위치하고 있으며 쉽게. 차라리 예외를 발생시키는 방법을 원합니다.

Answer 1

fallocate 또는 posix_fallocate을 사용하여 실제로 파일 앞에 공간을 예약 할 수 있습니다. 이렇게하면 절대 "지나치게 커밋하지"않을 것입니다. 물론 초기 생성시에는 성능상의 단점이 있습니다.

보안상의 이유로 OS는 fallocate의 블록을 제로로 만들 수 있습니다.

fallocate을 사용하면 쓰기되지 않은 익스텐트를 만들 수 있지만 처음 액세스 할 때는 여전히 0이됩니다. 창문에서 이것을 쓸어 낼 수도 있습니다. SetFileValidData도 우회 할 수 있습니다. 당신이 훨씬 CPU의 일을하는 경우 리눅스 O_DIRECT + fallocate()으로, (윈도우 SetFileValidData 반대) 여전히 상당한 CPU를 사용하고, IO 대역폭은 일반적으로 병목하지만

참고이 여전히 성능이 현저하게 영향을 미칠 수 같은 시간.

Answer 2

Is there any way to detect this error before I get cryptic memory access violation?

는 단지 파일의 크기를 변경하는 경우가 sparse 될 것입니다, 그 데이터가없는 지역은 디스크 공간을 사용하지 않는 것을 의미한다. 쓰기 중 공간이 할당되며 디스크 공간 오류가 발생할 수 있습니다.

문제를 해결하는 방법은 크기를 변경하는 대신 (더미) 데이터를 파일에 쓰는 것입니다. 그 시간은 더 오래 걸리지 만 나중에 파일이 최종 크기를 가지기 때문에이 첫 번째 쓰기 사이클 동안에 만 디스크 공간이 부족해질 수 있습니다.