pyarrow

1열

2답변

pyarrow.Tensor (예 : numpy.ndarray에서 작성한)을 쪽모이 세공 파일에 쓸 때 제안되는 방법은 무엇입니까? pyarrow.Table 및 pandas.DataFrame을 거치지 않고도 가능합니까?

1열

2답변

arrow_table = pa.Table.from_pandas (df) ... Python 개체를 String/UTF8로 변환하는 중 오류가 발생했습니다.

팬더의 read_csv (완전히 판다 유형 유추에 의존)를 사용하여 .csv를 읽는 간단한 코드를 작성했습니다. arrow_table = pa.Table.from_pandas(df)"): Error converting to Python objects to String/UTF8 이 문제를 해결하기 위해 인터넷에서 유용한 정보를 찾을 수 없습니다. pyar

1열

1답변

pyarrow를 사용하여 분할 된 쪽모 세공 데이터 세트에서 특정 파티션 읽기

다소 큰 (~ 20 GB) 분할 데이터 세트가 쪽모 세공 형식으로 있습니다. pyarrow을 사용하여 데이터 세트의 특정 파티션을 읽으 려합니다. pyarrow.parquet.ParquetDataset으로이 작업을 수행 할 수 있다고 생각했지만 그럴 것 같지 않습니다. 다음은 내가 원하는 것을 설명하기위한 작은 예입니다. 는 임의의 데이터 집합을 만들려면

2열

1답변

pyarrow는 fastparquet의 file_scheme = 'hive'옵션과 같은 폴더에 여러 가지 쪽매 파일을 쓸 수 있습니까?

필자는 pyarrow 라이브러리를 사용하여 폴더의 많은 쪽모이 세공 파일에 쓸 계획 인 수백만 개의 레코드 SQL 테이블을 보유하고 있습니다. 데이터 내용이 너무 커서 단일 쪽모 세공 파일에 저장할 수 없습니다. fastparquet 파이썬 라이브러리가 지원되기 때문에 file_scheme="hive" : 그러나, 나는 내가 뭔가를 지정할 수 있습니다

0열

1답변

인덱스가 중복 된 열이있는 쪽모 파일을로드 할 때 파이로 문제가 발생합니다.

계산을 수행하기 위해 팬더/dask를 사용하고 있습니다. 디스크의 쪽모락 파일에 데이터를 저장하고 있습니다. 문제는 칼럼 '시간'과 시간이라는 색인이 있다는 것입니다. 나는 둘 다 갖고 싶다. import pyarrow as pa import pyarrow.parquet as pq %matplotlib inline dfx.to_dict() Out[

0열

1답변

hdfs.connect() PyArrow

에서 HdfsClient 대 난이 멍청한 놈 질문의 경우 사과,하지만 난 모든 관련 참조 찾을 수 없습니다 - 이 두 가지의 차이점은 무엇입니까? 내가 pyarrow를 사용하여 hdfs에서 쪽모퉁이 파일을 읽으려면 어떤 파일을 사용하고 싶습니까? HdfsClient API는 사용되지 않습니다