parquet

0열

1답변

스파크 쪽 마루 s3 오류 : AmazonS3Exception : 상태 코드 : 403, AWS 서비스 : Amazon S3, AWS 요청 ID : xxxxx, AWS 오류 코드 : null

AWS S3에있는 파루 파일을 읽으려고하고 있습니다. 오류. 17/12/19 11:27:40 DEBUG DAGScheduler: ShuffleMapTask finished on 0 17/12/19 11:27:40 DEBUG DAGScheduler: submitStage(ResultStage 2) 17/12/19 11:27:40 DEBUG DAGSched

0열

1답변

Spark read.parquet에 너무 많은 시간이 걸립니다.

안녕하세요. 왜이 코드가 너무 많은 시간이 걸리는지 이해가 가지 않습니다. val newDataDF = sqlContext.read.parquet("hdfs://192.168.111.70/u01/dw/prod/stage/br/ventas/201711*/*") 드라이버 프로그램으로 전송되는 바이트가없는 것 같습니다. 맞습니까? read.parquet은 어

1열

1답변

pyarrow를 사용하여 분할 된 쪽모 세공 데이터 세트에서 특정 파티션 읽기

다소 큰 (~ 20 GB) 분할 데이터 세트가 쪽모 세공 형식으로 있습니다. pyarrow을 사용하여 데이터 세트의 특정 파티션을 읽으 려합니다. pyarrow.parquet.ParquetDataset으로이 작업을 수행 할 수 있다고 생각했지만 그럴 것 같지 않습니다. 다음은 내가 원하는 것을 설명하기위한 작은 예입니다. 는 임의의 데이터 집합을 만들려면

1열

1답변

Zeppelin이 "일치하지 않는 입력"으로 실패하는 이유는 무엇입니까? <EOF> "% spark.sql 단락에서?

나는 csv에서 마루 파일을 만들었습니다. mismatched input ';' expecting <EOF>(line 1, pos 23) == SQL == DROP TABLE IF EXISTS df; -----------------------^^^ CREATE TABLE df ( date_time STRING , site_name S

-5열

1답변

fastparquet을 사용하여 하위 파일의 쪽모 세공 파일 나누기

csv 파일을 쪽모 세공 형식으로 변환해야합니다. 하지만이 CSV 파일은 매우 커서 (65,000 개 이상의 행과 1,000 개 이상의 열), 내 parquet 파일을 각 50000 행과 200 열만큼 여러 개의 하위 파일로 분할해야합니다. 이미 partition_on 및 row_group_offsets을 시도했지만 작동하지 않습니다. 내 코드 : impo

0열

2답변

cloudera impala PARQUET_FALLBACK_SCHEMA_RESOLUTION

PARQUET_FALLBACK_SCHEMA_RESOLUTION의 Cloudera Impala (5.12)를 '위치'대신 '이름'으로 기본 설정 할 수 있습니까? 우리는 임팔라가 아니라 위치보다 이름을 조회해야하므로 내 마루 파일는 항상 동일한 C 럼 세트를 가지고 있지 않으며, 고통의 약간은 모든 세션에 대해 색조에서이 작업을 수행 : 세트 PARQUET_

1열

1답변

파켓 파일의 특수 기호는 무엇입니까?

Java API로 Parquet을 작성하고 HDFS와 동기화합니다. ^U^B^U^@^U^H^U^H^\^X^H^A^@^@^@^@^@^@^@^X^H^A^@^@^@^@^@^@^@^V^@^@^@^@^A^@^@^@^@^@^@^@^U^@^U 나는 이러한 해석 방법을 궁금하네요 : 나는 내가 좋아하는 많은 이상한 문자를 참조 마루 파일을 얻을 vi 그것을 읽을 때.

1열

1답변

마루판 형식을 사용할 때 DataFrame 스키마가 저장됩니까?

df.write.parquet(destination)으로 전화를 걸면 데이터와 함께 DataFrame 스키마 (예 : StructType 정보)가 저장됩니까? Parquet 파일이 Spark 이외의 다른 프로그램에서 생성 된 경우 sqlContext.read.parquet은 DataFrame의 스키마를 어떻게 계산합니까?

1열

1답변

s3-dist-cp를 사용하여 마루 파일

을 만들면 s3-dist-cp 도구를 사용하여 마루 파일 (병합 압축)을 병합 할 수 있는지 궁금합니다. "--groupBy"및 "--targetSize"옵션을 사용하여 시도 했으므로 작은 파일을 더 큰 파일로 병합했습니다. 그러나 나는 Spark 나 AWS Athena에서 그것들을 읽을 수 없다. 어떤 도움에 감사드립니다 HIVE_CURSOR_ERROR:

2열

2답변

Flink 1.3.2에서 1.4.0으로 업그레이드하기 hadoop FileSystem 및 경로 문제

최근에 Flink 1.3.2에서 1.4.0으로 업그레이드를 시도했으며 더 이상 org.apache.hadoop.fs.{FileSystem, Path}을 가져올 수없는 몇 가지 문제가 있습니다. 문제는 두 곳에서 발생 : ParquetWriter : import org.apache.avro.Schema import org.apache.avro.generic