대량로드 중에 Virtuoso 7이 충돌 함

Question

일부 로컬 실험을 실행하기 위해 Freebase 용 로컬 SPARQL 끝점을 만들려고합니다. Virtuoso 7을 사용하는 동안 나는 OOM 킬러에 의해 서버가 죽는 것을 정기적으로보고 있습니다. 나는 언급 된 모든 단계를 따라 갔다. here. RDF Performance Tuning에서 언급 한대로 virtuoso.ini 파일을 변경해야합니다.

내 시스템 구성은 다음과 같습니다

• 8 CPU 내가 너무 충분한 하드 디스크가
• 16기가바이트 RAM

2.9 GHz의.

데이터 덤프와 관련하여 프리베이스 데이터 덤프 (23GB gzip, 약 250GB 비 압축)를 각각 200,000,000 개의 트리플이 포함 된 10 개의 작은 gzip 파일로 분할했습니다.

에 따라 내가 2에서 언급 한 바와 같이 나는 vm.swapiness = 10을 설정 한 이와 함께 virtuoso.ini

NumberOfBuffers = 1360000 
MaxDirtyBuffers = 1000000 

MaxCheckpointRemap = 340000 # (1/4th of NumberOfBuffers) 

에 대한 변경 사항입니다.

나는 분명한 뭔가를 놓치고 있습니까?

P.S .: 나는 virtuoso-opensource-6.1도 시도했습니다. 그러나 그것은 너무 느린 것처럼 보였다.

대량로드 프로세스 중에 거장 6.1 메모리 소비가 너무 느리게 상승했지만 일반적인 인덱싱 자체가 너무 느리기 때문에 그럴 수도 있습니다.

시작 시간에 거장 6.1이 거의 무시할만한 메모리 (500MB 순서)를 차지하는 반면, 거장 7은 약 6500MB로 시작하여 빠르게 커집니다.

이와 관련하여 도움을 주시면 감사하겠습니다.

Answer 1

사용중인 버퍼 수가 너무 많습니다. 일부 메모리는 OS 및 다른 프로세스에 의해 소비된다는 사실을 잊지 마십시오.

정확한 버전은 무엇입니까? (개발 또는 안정 지점?)

디스크 스트라이핑을 사용합니까?

저는 Freebase를 Virtuoso 7에도로드하지만 작은 파일을 사용했습니다. 260gzip 파일, 10mil 트리플 = 100M 회. 커밋은 모든 파일이로드 된 후에 실행됩니다. 당신이 거장의 images with Virtuoso preloaded by Freebase