메모리 매핑 된 파일로 가상 메모리 구현

Question

메모리 매핑 파일을 다음과 같이 마무리 할 수 ​​있습니까?

TVirtualMemoryManager = class 
public 
    function AllocMem (Size : Integer) : Pointer; 
    procedure FreeMem (Ptr : Pointer); 
end; 

메모리 매핑 파일 API 함수는 모두 오프셋을 취하기 때문에 메모리 매핑 된 파일의 빈 영역을 관리하는 방법을 알지 못합니다. 내 유일한 아이디어는 기본 메모리 관리 (다른 블록 크기에 대한 무료 목록 유지) 일종의 구현하는 것입니다. 그러나 나는 이것이 얼마나 효율적인지 알지 못합니다.

편집 : 내가 정말 희망은 (다윗이 나에게 분명히으로) 이것이다 :

나는 가상 메모리의 바이트의 연속 블록 (각 상대적으로 작은) 저장해야

IVirtualMemory = interface 
    function ReadMem (Addr : Int64) : TBytes; 
    function AllocateMem (Data : TBytes) : Int64; 
    procedure FreeMem (Addr : Int64); 
end; 

64 비트 주소를 사용하여 메모리로 다시 읽을 수 있습니다. 대부분의 경우 액세스는 읽기 전용입니다. 쓰기가 필요하다면 어쨌든 크기가 다를 것이므로 FreeMem 다음에 AllocMem을 사용할 것입니다.

이 인터페이스를 사용하여 메모리 매핑 된 파일에 대한 래퍼를 원합니다. 내부적으로 메모리 매핑 파일에 대한 핸들을 가지고 있으며 각 ReadMem 요청에 MapViewOfFile을 사용합니다. Addr 64 비트 정수는 메모리 매핑 파일에 대한 오프셋 일뿐입니다. 열린 질문은 그 주소를 할당하는 방법입니다 - 저는 현재 내가 유지하는 자유 블록 목록을 유지합니다.

Answer 1

1. "는 내부적으로는 메모리 매핑 된 파일에 대한 핸들을 가지고 있으며, 각 ReadMem 요청에 MapViewOfFile을 사용하여"당신의 제안 CPU 자원 만 낭비, 이럴 수 있습니다.

2. GetMem/FreeMem 요구 사항은 3/4 GB 장벽을 깨뜨릴 수 없습니다. 할당 된 모든 메모리는 FreeMem을 호출 할 때까지 메모리에 매핑되므로 일반 Delphi 메모리 관리자와 마찬가지로 메모리 공간이 부족합니다. 당신이 할 수있는 최선의 방법은 FastMM4을 의존하고 프로그램을 변경하여 메모리 사용을 줄이는 것입니다.

3. IMHO 귀하의 사양을 변경/업데이트해야합니다. 예를 들어, "업데이트 된"질문은 일반적인 저장 문제와 같습니다.

원하는 것은 응용 프로그램에 3/4 GB 이상의 데이터를 할당하는 것입니다. 오픈 소스 유닛 SynBigTable에 이러한 기능을 구현했습니다. 이것은 순수 델파이의 빠르고 가벼운 NoSQL 솔루션입니다.

모든 크기의 파일 (64 비트 제한)을 생성 한 다음 요청시 각 레코드의 내용을 메모리에 매핑합니다. 가능한 경우 파일의 메모리 매핑을 사용합니다. TSynBigTable 메소드로 직접 인터페이스를 구현할 수 있습니다 : ReadMem=Get, AllocMem=Add, FreeMem=Delete. ID는 pointer과 같은 값이되고 TBytes 대신 RawByteString이 사용됩니다.

정수 ID 또는 문자열 ID를 사용하여 모든 데이터 블록에 액세스하거나 정교한 필드 레이아웃 (레코드 내부 또는 색인 및 빠른 검색 포함 메모리 내장 메타 데이터)을 사용할 수도 있습니다.

일반적인 내장 SQL 데이터베이스를 사용하십시오.예를 들어 SQLite3은 BLOB 필드를 처리 할 때 매우 뛰어나며 막대한 양의 데이터를 저장할 수 있습니다. 가장 많이 사용되는 레코드에 대한 간단한 메모리 내 캐싱 메커니즘을 사용하면 강력한 솔루션이 될 수 있습니다.