parquet

0열

1답변

임팔라 : AnalysisException는 : LEFT OUTER JOIN은 비디오 시청 기록을 저장하는 마루 파일을 기반으로 ON 또는 절

를 사용 내가있어 임팔라 테이블을 필요로한다. 구조는 다음과 같습니다. VideoSession ... ... accountdata struct < ... ... emailid string ... ... > ... playbacksegments <

0열

1답변

열 저장소에 열 값을 한 번만 저장할 수 있습니까?

저는 카산드라를 처음 접했고 저는 카산드라와 쪽매가이 원주 형 사건을 다루는 방법에 대한 기본적인 질문을했습니다. 나는 혼자서 그것을 계산하려고 노력했다. 그러나 지금까지 운 없음. 내가 같은 값을 저장하는 기록의 두 가지로 wiki …;Smith:001;Jones:002,004;Johnson:003;… 에 아래의 정보를 발견했다 "존스는"이 모든 포인

1열

2답변

쪽지 파일에서 /에 쪽지 파일을 읽거나 쓰는 것

pyarrow.Tensor (예 : numpy.ndarray에서 작성한)을 쪽모이 세공 파일에 쓸 때 제안되는 방법은 무엇입니까? pyarrow.Table 및 pandas.DataFrame을 거치지 않고도 가능합니까?

4열

1답변

AWS s3 버킷에서 쪽지 데이터 읽기

aws s3에서 쪽지 데이터를 읽어야합니다. 나는이에 대한 AWS SDK를 사용하는 경우 I는 다음과 같이의 InputStream 얻을 수 있습니다 : S3Object object = s3Client.getObject(new GetObjectRequest(bucketName, bucketKey)); InputStream inputStream = objec

0열

1답변

ORC 및 쪽모 세공의 문자열 유형 길이 제한

ORC 및 쪽모 세공 형식을 사용하여 긴 텍스트를 저장할 적절한 데이터 유형이 궁금합니다. 이 두 형식 중 어느 것도 기본 문자열 유형에 대한 길이/크기 제한이 있습니까? 감사합니다.

0열

1답변

마루판 작성시 NullPointerException이 발생했습니다.

아마존 s3 (특정 파티션 아래)에서 마루 파일을 읽고 쓰는데 얼마나 오래 걸릴지 측정하려고합니다. 그 파일을 읽는 대신 간단히 파일을 읽고 쓰는 스크립트를 작성했습니다. : val df = sqlContext.read.parquet(path + "p1.parquet/partitionBy=partition1") df.write.mode("overwrite

1열

1답변

EMR 스파크 단계 및 하나의 파일로 출력 병합

나는 emr 스파크 단계를 시도하고있다. 입력 s3 디렉토리가 있습니다. 어떤 여러 파일을 가지고 F1, F2, F3 이 같은 스파크 단계를 추가 오전 : delimitedData.write.mode(SaveMode.Append).parquet(output) I 직면하고 문제가 : I aws emr --region us-west-2 add-steps -

0열

1답변

인덱스가 중복 된 열이있는 쪽모 파일을로드 할 때 파이로 문제가 발생합니다.

계산을 수행하기 위해 팬더/dask를 사용하고 있습니다. 디스크의 쪽모락 파일에 데이터를 저장하고 있습니다. 문제는 칼럼 '시간'과 시간이라는 색인이 있다는 것입니다. 나는 둘 다 갖고 싶다. import pyarrow as pa import pyarrow.parquet as pq %matplotlib inline dfx.to_dict() Out[

1열

1답변

Amazon 아테나는 쪽매 파일을 읽을 때 구조체의 속성 이름을 배열에 올바르게 유지하지 않습니다.

Amazon Athena에서 구조체 배열로 입력 한 속성을 포함하는 마루 파일을 읽으려고합니다. 이 속성은 실제로 다음과 같습니다이 arrival_pages array<struct<id: bigint, hierarchy: bigint, recency: bigint>> 이 열을 포함하는 모든 선택 쿼리가 성공적으로 실행하지만 결과 구조체하지 않습니다 |-

2열

1답변

AWK의 2.2.0 스파크 2.2.0 마루에 쓰는 EMR 쓰기 행

그래서 분할 된 파킹 파일에 쓸 때 DataFrame의 특정 행이 삭제되는 문제가 있습니다. 여기 내 단계는 다음과 같습니다 지정된 스키마 S3에서 읽기 CSV 데이터 파일 '날짜'열을 기준으로 파티션 (DateType) mode=append 와 마루로 쓰기 읽기 첫 단계는 예상대로 작동하며 구문 분석 문제는 없습니다. 품질 검사를 위해 다음을 수행합니다.