xarray를 사용하여 netCDF4 데이터 세트를 열려고합니다.파이썬에서 xarray에 파일 크기 제한이 있습니까?
두 가지 예가 있습니다. 시계열 (3.2GB)에서 300 만 개가 넘는 큰 파일입니다. 시계열에서 9999 점의 작은 파일 (9.8MB). 이 코드는 작은 파일을 엽니 다.
ds = xr.open_dataset(smallfile, chunks={'rec': 3600}, decode_times=False)
큰 파일을 사용하는 경우 알 수없는 오류가 발생합니다. 이 동작은 miniconda가 설치된 두 개의 다른 Windows 시스템에서 일관됩니다.
여기에 무슨 일이 일어나고 있습니까? 내가 뭘 더 검사해야합니까?
미리 감사드립니다.
xarray 및 netCDF4-Python에는 파일 크기 제한이 없습니다. 10-100GB 범위의 파일에 성공적으로 사용되었습니다.
귀하의 문제는 파이썬 3 Windows에서 큰 파일을 읽기 위해이 netCDF4 - 파이썬 문제에보고 된 것과 비슷합니다 https://github.com/Unidata/netcdf4-python/issues/535
더 넓게, 당신이 limitations of the netCDF file format 자체에 실행될 수 있습니다. xarray가 netCDF4-Python 및 h5netcdf를 통해 지원하는 버전 4는 HDF5를 기반으로하며 파일 크기 제한이 없습니다. xarray가 netCDF4-Python과 scipy를 통해 지원하는 버전 3은 "64 비트 오프셋"버전을 사용하지 않는 한 파일 크기 제한이 2GB입니다 (변수 당 4GB 제한이 여전히 <입니다).
크기가 문제가 아닌지 확인해 주셔서 감사합니다. –
나는 MATLAB이 큰 파일에 문제가 없다고 덧붙여 야합니다. –