split 회귀 데이터가 hdf5 (Caffe)로 변환되는 방법

Question

데이터를 hdf5로 변환하기 위해 @ shai의 코드를 사용하고 있지만 데이터 크기를 변환 한 후 너무 커서 caffe (2GB)의 제한 크기보다 크다 그래서 질문은 데이터를 어떻게 분할해야 하는가입니다. 우리는 단지 우리가 원하는 것에 따라 데이터를 개별적으로 변환해야합니다.

Answer 1

더 나은 답변을 제공하는 데 도움이되는 정보가 있으면 도움이됩니다. Caffe이 귀하에게 제공 한 실제 오류를 알려주십시오. 또한 정확히 2GB보다 큰 것은 무엇입니까? txt 파일입니까?

HDF5는 그리 효율적이지 않습니다. 데이터베이스 레이어 (http://caffe.help/manual/layers/data.html)를 사용하거나 사용자 정의 된 Python 레이어 (http://caffe.help/manual/layers/python.html)를 작성하는 것이 좋습니다.