hdfstore

0열

1답변

에있는 경우 내가 다른 사람 사이에있는 테이블을 선택하고, 다음과 같은 열이 : >>> hdf.select('foo').columns Out[22]: Index(['bar', 'units'], dtype='object') 는 지금은이 곳 bar 사람을 선택하고 싶었 두 값 중 하나를 myBar = ['1500013010', '1500002

1열

1답변

Python/Pandas HDF5 NameError 문제

두 개의 스크립트를 작성했습니다. 첫 번째 스크립트는 한 번만 실행하도록 설계하고, 생성 된 스크립트 내에서 다음 코드를 사용 HDF5 파일에 저장됩니다 df_empty, storage.h5라는 큰, 빈 dataframe : from pandas import HDFStore hdf = HDFStore('storage.h5') hdf.put('d1', d

1열

2답변

하이브에서 LOAD DATA를 실행할 때 데이터를 복사합니까?

HDFS에 저장된 데이터를 HIVE로로드 할 때 HDFS의이 데이터가 HIVE에서 사용되는 다른 형식으로 복사됩니까? 또는 원본 파일을 사용하여 데이터를 저장/선택/삽입/수정합니까? 컨텍스트 : LOAD DATA INPATH '/home/user/sample.txt'OVERWRITE INTO TABLE employee; HIVE는 항상 /home/user/

1열

1답변

HDF5 : 기존 HDF5 테이블에서 열 이름의 이름을 바꾸는 방법이 있습니까?

팬더를 사용하여 대형 인덱스 HDF5 테이블을 만들었습니다. 내 테이블에있는 12 개의 열 중에서 2 개의 열의 이름을 바꾸고 싶습니다. 테이블을 다시 작성하거나 다시 인덱스하지 않는 것을 선호합니다. 모든 데이터 (140GB)를 복사하지 않고도이 작업을 수행 할 수 있습니까? 파일에 올바른 명령으로 쉽게 스왑 아웃 할 수있는 몇 가지 메타 데이터 만 있으

1열

1답변

판다 HDFStore :

가 함유 팬더 HDFStore 주어진 선택 기능 및 직접 액세스하여 차이 DataFrame : import pandas as pd import numpy.random as rd df = pd.DataFrame(rd.randn(int(1000)).reshape(500, 2), columns=list('ab')) store = pd.HDFStore('s

1열

1답변

Multiindex가 포함 된 Pandas HDFStore 인덱스별로 선택 값이 없습니다.

큰 팬더 데이터 프레임이 HDF5 파일에 저장되어 있습니다. 데이터 프레임은 Datetime 및 PatientID가있는 다중 인덱스입니다. store = pd.HDFStore('prepro_mon.h5',mode='r') print(store.get_storer('raw_import').levels) Out: ['Datetime', 'PatientID

0열

1답변

HDF5 파일을 파켓 파일로 변환하는 방법은 무엇입니까?

pandas.HDFStore()으로 팬더를 통해 HDF5에 약 800GB의 대용량 데이터 프레임을 저장했습니다. import pandas as pd store = pd.HDFStore('store.h5') df = pd.Dataframe() # imagine the data being munged into a dataframe store['df'] =

1열

1답변

ImportError : HDFStore에 PyTables가 필요합니다. "모듈이없는 테이블"

여기에서 설치 지침을 따랐습니다. http://www.pytables.org/usersguide/installation.html 따라서 PyTables/build/lib.linux-x86_64-2.7 폴더의 iPython에서이 명령을 실행할 때마다 정상적으로 작동합니다. In [2]: store = pd.HDFStore('store.h5') In [1]:

1열

1답변

하나의 키/그룹에서 여러 팬더 데이터 프레임을 HDF5 오브젝트로 결합하는 방법은 무엇입니까?

크기가 큰 CSV 800GB에서 데이터를 파싱 중입니다. 각 데이터 행마다 판다 데이터 프레임으로 저장합니다. readcsvfile = csv.reader(csvfile) for i, line in readcsvfile: # parse create dictionary of key:value pairs by csv field:value, "dict

0열

1답변

메모리 제약 조건이있는 Python 2.7에서 두 가지 다른 형식의 큰 CSV 파일을 구문 분석 하시겠습니까?

파이썬 2.7에서 읽을 필요가있는 파일 모음 (여러 개의 파일로 나누어 진 1 ~ 10GB 파일, ~ 1GB 정도)이 있습니다. 파일 형식이 같다 : 1|KEY1|A |B |01/01/2016| | 2|KEY1| |LINEINDEX1|C |D |E | 123.000| 456.000| 789.1250|000100000.00|000100000.7