hdf5

3열

2답변

h5py에서 문자열 목록으로 구성된 데이터 집합을 만들 가능성이 있습니까? 가변 길이의 중첩 데이터 유형을 만들려고했지만 파이썬 인터프리터에서 세그먼트 화 오류가 발생합니다. def create_dataset(h5py_file): data = [['I', 'am', 'a', 'sentecne'], ['another', 'sentence']]

2열

1답변

GZIP 압축이 HDF5 C++ API에서 사용될 때 자동 청크가 기본적으로 활성화됩니까?

C++ HDF API를 사용하고 H5py Python 라이브러리에 대해 몇 가지 비교를 수행하여 HDF5 파일을 작성하고 있습니다. G5IP 또는 LZF와 같은 압축 알고리즘을 사용할 경우 H35py 파이썬 라이브러리 autochunking이 기본적으로 적용됩니다. 동일한 조건이 HDF5 C++ API에도 적용됩니까? 그렇다면 GZIP와 같은 압축 알고리즘

2열

1답변

hdf5 데이터 세트에서 numpy 배열로 데이터를 전송할 때 정밀도 상실

hdf5 데이터 세트 (아래 스크린 샷의 f_one)에서 데이터를 numpy 배열로 복사하려고하는데 정밀도가 약간 떨어지는 것을 발견했습니다. subid2[0] == subid2[1]을 읽어야 스크린 샷 (마지막 인쇄 문)의 마지막 줄. 스크린 샷을 찍기 전에 우연히 2 개를 삭제했습니다. 출력이 정확합니다. 여러분도 알다시피, 파이썬은이 두 숫자가 정확히

1열

1답변

Hdf5 및 피클은 원시 csv 파일보다 많은 공간을 사용합니다.

크기가 18MB 인 csv 파일 (숫자 데이터 만 포함)이 있습니다. 내가 그것을 읽고 numpy 배열로 변환하고 hdf5 형식이나 pickle로 저장할 때 약 48 MB의 디스크 공간이 필요합니다. pickle이나 hdf5를 사용할 때 데이터를 압축해서는 안됩니까? tensorflow에 의해 소비되는 hdf5 형식으로 저장하는 것이 더 좋은가요? csv로

2열

1답변

HDFStore 그룹에 여러 개체 저장

여러 개체를 HDFStore에 저장하려고하지만 그룹화하여 정리하고 싶습니다. 의 라인을 따라 뭔가 : import pandas as pd my_store = pd.HDFStore('my_local_store.h5') my_store._handle.createGroup('/', 'data_source_1') # this works, but I'm not

0열

1답변

HDF5 라이브러리로 인해 Caffe를 설치하는 동안 'runtest'에 머물러 있습니다.

CentOS 7에 Caffe를 설치하려고하지만 'runtest'에서 멈추었습니다. 하나의 경고 경고! 나는 libs와 관리 아나콘다를 사용 SIGABRT (@0xc8b) received by PID 3211 (TID 0x7fcfd38c29c0) from PID 3211; stack trace: *** @ 0x7fcfcede5100 (unkno

0열

2답변

C++ 라이브러리를 사용하여 HDF5에서 데이터 세트의 PredType을 찾는 방법

unsigned char 어레이를 내 HDF5 파일의 float 데이터 세트에 쓸 경우 라이브러리가 불평하지 않는다는 것을 알았습니다. 따라서 두 가지가 실제로 호환된다는 것을 쓰기 전에 확인하고 싶습니다. 그래서 내 unsigned char 배열에 해당하는 PredType 있습니다. 그러나 실수가 아니라면 데이터 세트는 PredType을 얻을 수있는 확실

1열

1답변

많은 매개 변수를 지능적으로 hdf5 파일에 쓰려면 어떻게해야합니까?

분자 역학 시뮬레이션 결과 인 (x, y, z) 좌표를 hdf5를 사용하여 작성하려고합니다. API는이를 수행하는 방법에 대해 상당히 명확합니다. 내 질문은 시뮬레이션의 매개 변수를 작성하는 것입니다. hdf5 파일에 매우 많은 상수, 약 100 개를 써야합니다. 나는 이것이 속성이있는 것이라고 생각합니다. 맞을까요? 내 문제는 속성 API가 다소 복잡하다

4열

1답변

다른 그룹 및 데이터 세트를 삭제하지 않고 기존 Hdf5 파일에 추가 데이터 세트 추가

데이터 세트가있는 그룹 및 하위 그룹을 포함하는 HDF5 파일이 있습니다. 파일을 열고 일부 데이터 세트를 그룹에 추가하려고합니다. 나는 파이썬에서 아주 단순한 다음 접근법을 택했다. 파일이 처럼 보인다 후 import h5py f = h5py.File('filename.h5','w') f.create_dataset('/Group1/sub

2열

2답변

데이터 저장과 달리 데이터 검색에 HDF5가 얼마나 효율적입니까?

키가있는 500GB 테이블을 HDF5에 덤프하고 특정 키와 일치하는 행을 검색하고 싶습니다. HDF5 파일의 경우 는 모든 데이터 액세스와 같은 항목의 정수를 사용하여 "행"수, 그래서 HDF5의 외부 "수지도를 행하기위한 '키를 구현하는 것처럼 보인다. 아닌가요 HDFS를 사용하는 Hadoop 또는 Spark와 같은 분산 시스템을 사용하면 더 효율적으로