fastparquet

    0

    1답변

    to_parquet 기능을 실행할 때 열 개체 유형과 관련된 몇 가지 문제가 있음을 확인했습니다. 나는 15.1 버전의 dask를 실행 중이다. astype(object)을 사용하여 열을 명시 적으로 변환 했으므로 일부 열만 사용할 수 있습니다. 다음 오류가 발생합니다 : TypeError: bad argument type for built-in opera

    2

    2답변

    동일한 스키마를 가진 여러 쪽 parquet 파일을 단일 데이터 프레임으로로드하려면 dask를 사용해야합니다. 이것은 동일한 디렉토리에있을 때 모두 작동하지만 별도의 디렉토리에있을 때는 작동하지 않습니다. 예를 들어 : import fastparquet pfile = fastparquet.ParquetFile(['data/data1.parq', 'data

    -5

    1답변

    csv 파일을 쪽모 세공 형식으로 변환해야합니다. 하지만이 CSV 파일은 매우 커서 (65,000 개 이상의 행과 1,000 개 이상의 열), 내 parquet 파일을 각 50000 행과 200 열만큼 여러 개의 하위 파일로 분할해야합니다. 이미 partition_on 및 row_group_offsets을 시도했지만 작동하지 않습니다. 내 코드 : impo