데이터를 hdf5로 변환하기 위해 @ shai의 코드를 사용하고 있지만 데이터 크기를 변환 한 후 너무 커서 caffe (2GB)의 제한 크기보다 크다 그래서 질문은 데이터를 어떻게 분할해야 하는가입니다. 우리는 단지 우리가 원하는 것에 따라 데이터를 개별적으로 변환해야합니다.
파이썬으로 읽으려고 HDF5 파일을 열려고하는데, 나중에 더 많은 일을 할 수 있습니다. 파일을 읽는 프로그램을 실행할 때 오류가 있습니다. 이 프로그램은 다음과 같습니다 : import h5py # HDF5 support
import numpy
fileName = "C:/.../file.h5"
f = h5py.File(fileName, "r")
다음 코드는 CSV에서 읽고 PyTables에 쓰는 코드입니다. 그러나 pd.read_csv는 데이터 프레임을 생성하며 PyTables에서는 처리되지 않습니다. 이 문제를 어떻게 해결합니까? 나는 numpy 배열을 만들 수 있지만 이것은 마치 죽이고 아마도 시간이 많이 소요되는 것처럼 보입니까? (거래 실적 내가 올바른 데이터 유형과 생성 된 클래스입니다
두 개의 다른 hdf5 파일을 비교하여 일치하는지 확인하고 있습니다. 내가 수동으로 입력하는 대신 모든 데이터 집합을 통해 루프를 실행할 수 있도록 hdf5 파일의 그룹에있는 모든 데이터 집합 목록을 만들려고합니다. 나는 이것을 할 수없는 것을 발견하는 것 같다. 현재이 코드를 사용하여 데이터를 가져오고 있습니다. tdata21 = ft['/PACKET_0
pandas.HDFStore()으로 팬더를 통해 HDF5에 약 800GB의 대용량 데이터 프레임을 저장했습니다. import pandas as pd
store = pd.HDFStore('store.h5')
df = pd.Dataframe() # imagine the data being munged into a dataframe
store['df'] =
나는 apt-get을 통해 우분투에 libhdf5를 설치했지만 디렉토리는 없다. sudo를 찾을 형 D -name 'HDF5' ./share/doc/hdf5-tools ./share/doc/libhdf5-mpich2-dev ./share/doc/libjhdf5-java ./share/doc/hdf5-helpers ./share/doc/li bjhdf5 -
간단한 프로그램을 컴파일하여 HDF5 파일을 읽으려고합니다. 이 코드는 h5C++로 올바르게 컴파일됩니다. 나도 같은 readdata.cpp #include <iostream>
#include "H5Cpp.h"
#ifndef H5_NO_NAMESPACE
using namespace H5;
#endif
const H5std_string FIL
m, n> 100000 인 경우 크기가 m * n 인 큰 행렬로 작업하고 있습니다. 내 데이터가 거대하기 때문에 매트릭스를 메모리에 저장하고 HDF5 및 PyTables로 작업하고 싶습니다. 그러나 내 행렬의 요소는 5 * 5 차원의 실제 값이 작은 작은 행렬입니다. 나는 다음 게시물을 이미 살펴 봤지만 이러한 유형의 데이터를 테이블에 저장하는 다른 방법이
HDF5 데이터베이스의 특정 시간 범위에서 시계열 데이터에 대해 많은 연속 쿼리를 수행해야합니다. 데이터는 항상 "연속"이 아닌 초 단위로 나타납니다. 시작 및 종료 시간). 모든 의견과 제안 import pandas as pd
from pandas import HDFStore
store = HDFStore(pathToStore)
dates = pd
그래서 고주파 데이터를 hdf5 데이터 세트에 저장할 수있는 기간이 궁금합니다. 내 질문에 대답하지 않습니다 HDF5 Limits 이 중 하나 또는 내가 몇 가지 기본적인 이해를 잃었 : 나는이 웹 사이트를 우연히 만났다. 그래서 치수는 데이터 세트의 열입니까? 측정 기준의 가치는 무엇입니까? 그것이 포함 할 수있는 가치입니까? 따라서 부호없는 64 비트는