대용량 (> 10Tb) 체적 데이터의 손실 압축을위한 최상의 솔루션 (천체 물리학 시뮬레이션)

Question

나는 천체 물리학 (은하 형성)의 대규모 시뮬레이션 작업을하고 있으며 데이터 관리 문제가 있습니다. 실제로 이러한 시뮬레이션은 매우 많은 양의 체적 데이터 (3d 픽셀과 같은 물리량)를 생성합니다. 제 질문은 아주 간단합니다 : 당신에 따르면, 그러한 데이터를 압축하는 최선의 해결책은 무엇입니까 (손실 압축).

은 내가해야 할 것은 : - 조정 가능한 손실의 3D 압축 - 나는 "즉시 사용 가능한"솔루션을 필요로하지 않지만 내 시뮬레이션 코드 에 적응 할 수있는 오픈 소스 LIB/코드 - 데이터

많은 양의 작업을 할 수있는 능력은

가 대단히 감사합니다 (이 솔루션은 이미지/체적 이미지 압축 라이브러리에서 올 수 있습니다).

EDIT :이 데이터를 플로팅/표시하는 것이 아니며, 실제로 이러한 데이터의 가중치를 줄이기위한 것입니다. (왜냐하면 무게를 줄일 수 있으면 시뮬레이션 시간을 디스크에 더 많이 쓸 수 있기 때문입니다. 후 처리 과정에서 은하의 역학을 해결하십시오)

Answer 1

정확한 압축이 아니며 디스크의 데이터 양을 줄이지 않기 때문에 찾고있는 것이 확실하지 않습니다. 그러나 표현과 계산을 단순화하는 데 사용될 수 있습니다.

큰 데이터 세트를 표시하기위한 솔루션은 LOD 구현을 사용하고 있습니다. 그것들은 손실에 대한 정의이고, 일부는 조정 가능합니다. here 및 here

EDIT : 알고리즘의 출력을 저장하는 경우 실제로 압축 방법으로 LOD를 사용할 수 있지만 실제로는 가장 효율적이지 않습니다. 압축 전략

Answer 2

글쎄, 데이터의 실제 형식과 빌드 규칙을 모른 채 대답하기가 어렵습니다.

이러한 원시 수량의 경우 형식이 상당히 압축 될 가능성이 있습니다 (3D 픽셀을들을 때 예상합니다).

소스 데이터를 분석하려는 형식에 자연스러운 크기의 블록으로 "잘라내어"각 블록을 독립적으로 압축하는 것이 가장 좋습니다. 그런 다음 필요할 때마다 각 블록을 압축 해제합니다.

원시 데이터가 매우 압축 가능하다는 것이 증명되면 (예 : 0이 많은 경우)이 간단한 방법으로 아주 좋은 결과를 얻을 수 있습니다.

Answer 3

필자도 비슷한 문제가 있으며, 필자가 알아 낸 "솔루션"은 공간 차원 중 하나를 시간으로 변환하여 기성품 비디오 압축을 사용하는 것입니다. 별로 좋지는 않지만 비디오 압축 (하드 웨 어 지원은 물론)에서 너무나 많은 작업이 이루어져야합니다.

Answer 4

현재 3D 포인트 감소/압축 (그러나 terristic 데이터 사용)에서 작업하고 있으며 내 솔루션은 OctoMap 프레임 워크와 extend it with geometrical point distribution models을 사용했습니다. OcTree 속성과 Scattered Data Approximation의 계층 적 분포 aproximation을 사용하면 낮은 수준의 높은 정확도로 LOD 접근법을 구현할 수 있습니다.