hdf5 저장소 형식은 심층적 인 학습을 위해 사용됩니다. 데이터 공유에 대한 hdf5의 이점을 이해할 수 있습니다. 그러나 연결된 프레임의 이미지보다는 hd5f를 사용하여 교육하는 동안 효율성을 기대할 수 있습니까?심화 학습을 위해 hdf5를 사용하는 계산상의 이점
공유하는 것이 내 관심사 중 가장 적은 경우 hdf5를 사용해야하는 이유가 무엇입니까?
편집 : HDF5 사용자 가이드, FAQ 및 기타 블로그 게시물과 같은 다양한 페이지를 살펴 보았습니다. hdf5는 주로 다목적 저장소 형식입니다. 내가 우려하는 맥락에서 효율성에 대한 세부 사항을 토론 할 수는 없었다.
저는 이미지, 비디오, 오디오 녹음, 텍스트 및 3D MRI까지 다루었습니다. 필자는 데이터의 읽기 속도가 파이프 라인의 병목 현상 인 상황을 결코 경험하지 못했습니다.
그러나 hdf5와 같은 데이터 세트를 저장하는 것의 장점은 수천 개의 파일을 개별적으로 읽는 것보다 메모리에 초기로드하는 것이 훨씬 빠릅니다. 나는 대개 클라우드 서비스를 사용하여 내 데이터를 동기화합니다. 하나의 큰 파일은 수백만 개의 작은 파일보다 훨씬 편리합니다.
그 외에도 hdf5를 사용하면 효율성상의 이점을 생각할 수 없습니다.
나는 일반적으로 말할 수 없다. 그러나 경험을 통해 비디오 기능을 배우는 동안 각 개별 프레임에 대해 비디오와 단일 파일을 비교할 때 단일 csv 파일을 사용할 때 상당한 차이가 있음을 발견했습니다. numpy와 함께 쉼표로 구분 된 파일을 사용하고있었습니다. 나는이 모든 것을 단일 노트북과 클러스터에서 경험했다. 아마도, 데이터를 읽는 동안 몇 가지 세부 사항을 놓친 것 같습니다. 답변 감사합니다. – Dinesh
2 단락에서 언급 한 효율성은 빠른 교육 속도 또는 스토리지 절감을 의미합니까? – pietz
@pietz, 불분명하다면 유감스럽게 생각합니다. 나는 훈련 속도에만 관심이있다. – Dinesh