parquet

1열

1답변

존재 나는 다음과 같은 방식으로 구성 된 데이터 집합이 있습니다 Encoder<MyDomain> encoder= Encoders.bean(MyDomain.class); Dataset<MyDomain> stdDS = sc.createDataset(filteredRecords.rdd(), encoder); Dataset<Row> rowDataset = st

1열

1답변

Google DataFlow 및 읽는 여기 엔 나무 마루 파일

Google DataFlow Java SDK를 사용하려고했지만 내 입력 파일은 .parquet 파일입니다. 경계 파이프 라인을 경계 데이터 소스로 DataFlow 파이프 라인에서 읽을 수있는 기능을 찾을 수 없습니다. 나는 코더를 만들거나 Parquet Reader을 기반으로하는 AvroIO와 같은 비트를 싱크 할 수 있음을 이해합니다. 누군가 구현하는 가

0열

1답변

카프카 커넥트 S3 싱크가 Avro를로드 할 때 IllegalArgumentException을 던졌습니다.

을 사용하여 Avro 데이터를 Parquet 형식의 S3에로드했습니다. GenericRecord avroRecord = new GenericData.Record(avroSchema); Injection<GenericRecord, byte[]> recordInjection = GenericAvroCodecs.toBinary(avroSchema); for

1열

1답변

namenode.LeaseExpiredException 비 hdfs 소스에서 읽을 때 dh.write.parquet

나는 원사 클러스터에서 실행되는 spark 코드를 가지고 databricks 라이브러리를 사용하여 csv를 마루로 변환합니다. csv 소스가 hdfs 일 때 제대로 작동합니다. 그러나 csv 소스가 hdfs가 아닌 경우 (일반적으로이 경우),이 예외가 발생합니다. 동일한 코드가 hdfs csv source에서 작동하므로 안됩니다. 이 문제에 전체 링크 :

0열

2답변

Spark로 여러 개의 작은 쪽모퉁 파일을 효율적으로 읽는 방법은 무엇입니까? 거기에 CombineParquetInputFormat 무엇입니까?

스파크는 여러 개의 작은 쪽모 세공 파일을 생성했습니다. 생산자와 소비자 Spark 작업 모두에서 소수의 마루 파일을 효율적으로 처리 할 수있는 방법.

2열

1답변

스파크에 _metadata 파일을 사용 2.1.0

내가 발견 (결함으로 인한 스키마 추론에) 다시에서 읽을 수 없습니다로 빈 마루 파일을 저장하는 것은 스파크 2.1.0 깨진 것 같습니다 이후 마루 파일을 작성할 때 기본적으로 _metadata 파일을 작성하는 Spark 2.0이 비활성화됩니다. 하지만이 설정을 다시 적용하려면 구성 설정을 찾을 수 없습니다. spark_session = SparkSessi

1열

1답변

오류가 발생하는 스파크의 쪽매 파일 저장

CDH 5.5 클러스터에서 스파크 1.6.1을 사용하고 있습니다. 이 작업은 커버 로스와 함께 잘 작동하지만 우리는 나머지에서 암호화를 구현 할 때 우리는 다음과 같은 문제로 실행 : - Df.write().mode(SaveMode.Append).partitionBy("Partition").parquet(path); 은 이미 성공없이 이러한 설정 값을

1열

1답변

Pyspark 무작위로 다음과 같은 S3 내 word2vec 모델을 작성

tos3 작성 실패 model.save(sc, "s3://output/folder") 나는 보통 문제없이 그것을하지 않는다, 그래서 AWS 자격 증명 문제,하지만 무작위로 다음과 같은 오류가 발생합니다. 17/01/30 20시 35분 21초 것은 ConfigurationUtils을 WARN : 적절한 권한이있는 임시 디렉토리를 만들 수 없습니다 :/mn

1열

2답변

mysql sqoop의 특수 문자가 텍스트 및 마루 파일로 가져 오기

mysql의 각 테이블에 100000 개가 넘는 레코드가있는 1000 개의 테이블이 있습니다. 테이블의 컬럼은 300-500입니다. 일부 테이블에는 열 이름에. (점) 및 공백과 같은 특수 문자가있는 열이 있습니다. 는 지금은 Sqoop을 가져 오기를하고 하이브 테이블이 생성이 후 TEXTFILE sqoop import --connect ${domain}:

1열

2답변

임팔라 + 쪽모이 세공 파일

내가 쪽모퉁이 파일을 만들었으며 임팔라 테이블로 가져 오려고합니다. CREATE EXTERNAL TABLE `user_daily` ( `user_id` BIGINT COMMENT 'User ID', `master_id` BIGINT, `walletAgency` BOOLEAN, `zone_id` BIGINT COMMENT 'Zone ID', `day`