parquet

0열

1답변

쪽매 파일 상단에 하이브 테이블 만들기 실패 - 어디서 잘못 가고 있습니까?

데이터 프레임을 마루 파일에 저장하고 있습니다. 생성 된 스키마는 다음과 같습니다. org.apache.spark.sql.parquet.row.metadata{ "type":"struct", "fields":[ { "name":"DCN", "type":"string", "nullable":true, "meta

1열

1답변

마루 파일 보안 설정 열 단위

스파크 액세스를 위해 열 방향으로 마루 파일을 보호하는 방법을 찾고있었습니다. 이상적으로는 하이브에 대해 Apache Ranger이 작동하는 것과 동일한 방식으로 작동합니다. 즉, Sysadmin은 여러 그룹 및 열에 대한 액세스 정책을 정의합니다. 나는 Hortoworks HDP를 통해 Ranger를 시도해 왔지만, Spark 및 Parquet 용 플러그

0열

1답변

임팔라 2.7 하이브에서 Tez 함께 만든 쪽 마루 탁자에서 데이터를 읽지 못했습니다

많은 유니온 모든 연산자를 사용하여 쿼리를 사용하여 마루 저장 형식으로 된 파티션 된 하이브 테이블을 채우는 중입니다. 쿼리는 Tez을 사용하여 실행됩니다. 기본 설정을 사용하면 여러 개의 동시 Tez 작성자가 HDFS 구조를 생성합니다. 여기서 마루 파일은 파티션 폴더 아래의 하위 폴더 (폴더 이름의 Tez 작성자 ID)에 있습니다. 예. /apps/hi

2열

1답변

Apache Spark 2.1 - 행 객체의 스칼라 길이/무거운 속성

Spark 2.1.0 독립 실행 형 클러스터에서 실행되는 스칼라 2.11에서 스파크 애플리케이션을 작성했습니다. 디자인/요구 사항에 따라 우리는 100과 같은 많은 수의 직접 열이있는 행 개체를 만들었으며 중첩 된 열 중 일부는 시퀀스가 20k에서 30k까지있는 것처럼 중첩 된 열이 거의 없습니다. Spark 데이터 세트를 처리하기위한 대소 문자 클래스

0열

1답변

AWS 스펙트럼 AWS 접착제로 생성 된 쪽매 파일에 대한 공백 결과 제공

AWS Glue로 ETL을 작성합니다. 쿼리 성능을 최적화하기 위해 데이터를 아파치 쪽 마루에 저장합니다. 데이터가 마루판 모양으로 S3에 저장되면 우리는 AWS 스펙트럼을 사용하여 해당 데이터를 쿼리합니다. 개발 AWS 계정에서 전체 스택을 성공적으로 테스트했습니다. 그러나 AWS 계정으로 이전했을 때 우리는 별난 문제에 처해있다. 쿼리 할 때 행은 반환

0열

1답변

Parquet 파일을 로컬 디스크에 쓰는 중 오류가 발생했습니다.

로컬 디스크에 스파크 데이터 프레임을 쓰고 있습니다. 다시 읽을 수 없습니다. val path = "file:///mnt/resources/....." df.write.parquet(path) val d = spark.read.parquet(path) 나는 다음과 같은 오류가 발생합니다 : org.apache.spark.sql.AnalysisExce

2열

1답변

AWS Glue ETL 작업이 AnalysisException과 함께 실패합니다. u''Perquet에 대한 스키마를 유추 할 수 없습니다. 그것은 수동으로 지정해야합니다.; '

S3에 저장된 마루 파일의 데이터를 적색 변경 테이블에로드하는 AWS Glue ETL 작업을 생성하려고합니다. '단순한'파일 스키마 옵션이있는 팬더를 사용하여 삼각형 모양의 여러 폴더에 마루 파일을 작성했습니다. 레이아웃은 다음과 같습니다 S3 : //bucket/parquet_table/01/file_1.parquet S3 : //bucket/parque

1열

1답변

polybase를 사용하여 생성 된 여기 엔 나무 파일에 열 이름이 없습니다.

다음 쿼리를 사용하여 polybase를 사용하여 SQL 2016에서 외부 테이블을 만들었습니다. CREATE EXTERNAL TABLE dbo.SampleExternal ( DateId INT NULL, CalendarQuarter TINYINT NULL, FiscalQuarter TINYINT NULL) WITH (LOCATIO

0열

1답변

hdfs.connect() PyArrow

에서 HdfsClient 대 난이 멍청한 놈 질문의 경우 사과,하지만 난 모든 관련 참조 찾을 수 없습니다 - 이 두 가지의 차이점은 무엇입니까? 내가 pyarrow를 사용하여 hdfs에서 쪽모퉁이 파일을 읽으려면 어떤 파일을 사용하고 싶습니까? HdfsClient API는 사용되지 않습니다

2열

1답변

pyarrow는 fastparquet의 file_scheme = 'hive'옵션과 같은 폴더에 여러 가지 쪽매 파일을 쓸 수 있습니까?

필자는 pyarrow 라이브러리를 사용하여 폴더의 많은 쪽모이 세공 파일에 쓸 계획 인 수백만 개의 레코드 SQL 테이블을 보유하고 있습니다. 데이터 내용이 너무 커서 단일 쪽모 세공 파일에 저장할 수 없습니다. fastparquet 파이썬 라이브러리가 지원되기 때문에 file_scheme="hive" : 그러나, 나는 내가 뭔가를 지정할 수 있습니다