저는 온라인으로 얻은 대형 CSV 파일을 조작하는 방법으로 팬더의 기능을 배우며, 파일은 금융 데이터의 시계열입니다. 지금까지 HDFStore를 사용하여 저장하고 조작하는 방법을 알아 냈지만 전체 소스 파일을 다시 다운로드하지 않고 파일을 업데이트하는 더 쉬운 방법이 있는지 궁금합니다. 매주 15 분마다 업데이트되는 12 ~ 300MB 파일로 작업 중이므로
저는 데이터 분석 및 많은 양의 계층 데이터를 .root 개의 파일에 저장하기 위해 CERN의 ROOT 프레임 워크를 일상적으로 사용합니다. 나는 HDF5 파일이 그런 목적으로 설계되었다는 것을 알고 있습니다. ROOT와 HDF5가 데이터를 저장하고 검색하는 방법의 차이점은 무엇입니까? HDF5 파일이 입자 물리학의 데이터 분석에 적합한 지 알고 싶습니다.
saddle에서 hdf5 스토리지로 작업하려고합니다. 제가 시도한 첫 번째 일은 실제로 프로젝트에서 테스트를 실행하는 것입니다. 불행히도 그들은 그냥 끊지 : [info] Loading project definition from /home/folone/workspace/saddle/project
[info] Set current project to sad
h5py를 사용하여 개별 H5 파일에 저장할 많은 양의 데이터를 수집 중입니다. 이 이미지를 하나의 이미지로 저장하기 위해 하나의 pcolormesh 플롯으로 패치하고 싶습니다. 빠른 예제에서는 2000x2000 임의 데이터 점의 배열을 생성하고 h5py를 사용하여 H5 파일에 저장합니다. 그런 다음이 파일의 데이터를 가져 와서 matplotlib에 pco
저는 파이썬으로 개발 한 코드를 주로 C++로 재 작성하고 있습니다. 이 언어로 더 많은 경험을 얻기를 희망합니다. 또한 openMP를 사용하여 204GB의 메모리를 공유하는 48 코어에이 코드를 병렬화 할 계획입니다. 내가 쓰고있는 프로그램은 간단하다. 3D로 된 hdf5 파일을 가져온다 :A [T] [X] [E], T는 시뮬레이션의 각 시간 단계와 관련
저는 C++ & HDF5를 사용하여 파일을 작성하고 있습니다. 그러나 문제가 있습니다. 이것은 내가 사용하는 코드입니다 : void fileRead::writeFile(string name, const vector<double>* data) {
int dimn = data->size();
hsize_t dim[1] = {data->size()}; //
스택의 크기 제한 때문에 큰 3D hdf5 파일을 동적 배열로 읽으려고합니다. 몇 가지 다른 방법을 시도하고 세분화 오류를 통해 실패했습니다. 아래는 내 문제를 보여주는 예제 코드입니다. 나는 약간의 도움에 매우 감사 할 것이다!! //This example was based on several examples which came in the c++ exa
파일에는 26 개의 열과 매우 많은 행이 있습니다. HDF5를 사용하면 한 번에 한 줄씩 파일을 읽고 내용을 1x26 메모리 공간으로 읽은 다음 데이터 세트를 1x26으로 확장하고 메모리 공간 내용을 데이터 집합의 새로 추가 된 행에 복사하면됩니까? 이것이 얼마나 효율적인지, 또는 이것이 올바른 방법인지 모르겠지만, 나는 이것에 정말로 새로운 것입니다. 감
데이터 저장을 위해 C# 및 Matlab/Octave를 사용하여 HDF5를 사용하여 조사하고 있습니다. 지금은 다소 기본적인 문제가 있습니다 ... 1D 데이터 세트를 만들고 h5 파일에 저장할 수 있지만 2D 코드에 대한 코드를 알아낼 수는 없습니다. 내 2 차원 매트릭스 목록 목록) List<List<int>> table = new List<List<i
저는 HDF5와 hadoop을 사용해야하는 프로젝트를 진행하고 있습니다. SciHadoop으로 이동 한 스택 오버플로를 보내 주셔서 감사합니다! 나는 그물에서 조금 검색을했고 SciHadoop이 NetCDF를 지원한다는 것을 알게되었다. sciHadoop은 HDF5에 대한 지원을 확장 했습니까? 누군가 내가 HDF5와 Hadoop을 함께 사용하도록 유도한다