2017-05-23 40 views
0

엄청난 양의 스토리지를 추가해야하는 자체 클라우드 (또는 다음 클라우드) 프로젝트의 경우 CEPH, Openstack Swift/Cinder, GlusterFS, SDFS 및 Tahoe-lafs와 같은 옵션을 모두 확인했습니다.OpenStack (스위프트) 또는 CEPH 중복 제거 기능? 또는 모든 중복 제거 HA 스토리지 클러스터 솔루션?

이 서비스를 통해 사용자가 동일한 파일을 여러 개 추가 할 것으로 예상되므로 중복 제거가 매우 중요합니다. 지금까지 클러스터 된 스토리지 데이터를 중복 제거하는 유일한 솔루션은 SDFS 및 Tahoe-lafs입니다. 그러나 우리의 우려는이 두 가지가 Java와 Python이며 CPU를 많이 손상시킬 것이라는 점입니다. (중복 제거로 인해 RAM과 CPU가 늘어날 가능성이 높습니다.)

아마도 여러분 중 누가 더 나은 솔루션을 가지고 있을까요? 데이터가 여러 시스템 (HA 클러스터)에 저장되므로 중복 제거 파일 시스템 (예 : ZSF)이 작동하지 않습니다.

+0

현재 Openstack Swift 현재 버전 (2.13.0)에는 내가 아는 한 중복 제거 기능이 없습니다. –

답변

0

이 내가 당신이 찾고있는 생각하지만, 무엇을하는 완전한 해결책이 아니라 오히려 자바 스크립트로 작성된 C로 작성 바인딩 네이티브 ++와 참조 구현과 Node.js를위한 오픈 소스 중복 제거 라이브러리 :

https://github.com/ronomon/deduplication

LSM 트리 지원 KV 저장소를 사용하여 색인을 직접 구현할 수 있으면 충분히 빠릅니다.