2017-02-22 11 views
2

Storablestore 함수를 사용하여 내 해시의 이진 표현을 얻습니다. 이 해시는 프로세스가 20 분 동안 지속될만큼 충분히 크다. 멀티 코어와 함께 작동하는 store과 비슷한 기능이 있습니까? 그렇다면 속도가 빨라지겠습니까?멀티 코어를 사용하여 데이터를 이진 형식으로 serialize

저는 잠시 동안을 검색해 보았습니다. 저장을 위해 bson을 사용해도 관련성이있는 항목을 찾을 수 없었습니다.

+3

형식을 신경 쓰지 않는다면 해시를 N 부분으로 분할 한 다음 각 부분을 별도의 파일에 저장할 수 있습니다. /// 또한, JSON 및 YAML과 같은 더 가벼운 형식은 저장할 수있는 것보다 훨씬 빠를 수 있습니다. – ikegami

+2

"직렬화"의 의미가 주어지면 정확히 무엇을 병렬로 "직렬화"할 것을 제안하겠습니까? 또한 기가 바이트의 데이터조차도 직렬화하는데 20 분이 걸리지 않아야합니다. 다른 것은 잘못되었습니다. 도움이 필요하면 더 많은 세부 사항을 제공해야합니다. –

+0

@JimGarrison 정보가 1GB 이상 있습니다. 이 순간에 나는 정확한 양을 말할 수는 없지만, 나는 그것이 10gb 일 수 있다고 생각한다. 직렬화하면 파일에 저장할 해쉬의 바이너리 표현을 얻는다는 의미입니다. –

답변

1

마지막으로 필자는 컴퓨터에있는 코어만큼 많은 데이터를 저장하기로 결정했습니다. 따라서 ikegami가 주석에서 제안한 것처럼 다른 출력 파일을 만드는 스레드에서 store을 실행할 수 있습니다.