parquet

1열

1답변

데이터 세트, 대형 자바 클래스 및 싱글 톤을 사용할 때 스파크 통과 함수

이 게시물을 읽은 적이 있습니다. https://spark.apache.org/docs/latest/programming-guide.html (스파크를 전달하는 기능 참조)하지만 내 사례 클래스는 내 사례 클래스와 함께 유형이 지정된 데이터 집합을 사용하고 있습니다. 싱글 톤 객체를 사용하여 매핑 방법을 유지하려고합니다. 나는 나의 무대를위한 성능을 최적화

0열

1답변

OOM 쪽모실에서 데이터를로드 중

우리는 Apache Spark 1.4.0 클러스터가 있고 HDFS에서 350 쪽 마루 파일 세트의 데이터를로드하려고합니다. 현재 프로그램을 실행하려고하면 "OutOfMemory Error"드라이버가 발생합니다. Executor와 드라이버를 프로파일 링 한 결과, 드라이버 메모리가 지속적으로 증가 할 때 실행기 메모리가 일정하게 유지되는 것으로 나타났습니다.

2열

1답변

10000 개가 넘는 열이있는 쪽모 세공 파일로 저장하는 것이 JaninoRuntimeException으로 이어지는 이유는 무엇입니까?

나는 임의의 df를 생성하고 그것을 spark 2.1의 원판 파일로 디스크에 씁니다. 이 문제는 열의 수가 10000이 될 때 실행되지만 10000이면 문제가 없습니다. 100000 열의 경우 spark는 화면에 일련의 코드를 인쇄하고 아래와 같이 오류를 발생시킵니다. 내가 어떻게 마루에 오류없이 쓸 수 있습니까? import org.apache.spark

0열

1답변

여기 엔 나무 마루 만들기 pandas 데이터 프레임에서 pyarrow 테이블로의 변환이 개체 dtype에서 작동하지 않습니다

csv 파일에서 쪽매 파일을 만들고 싶습니다. 테스트 목적으로 파일을 읽고 팬더 데이터 프레임을 먼저 변환 한 다음 파이 로우 테이블로 변환하는 코드 조각 아래에 있습니다. 이 테이블은 AWS S3에 저장되며 테이블에서 하이브 쿼리를 실행하려고합니다. 입력 파일 내용 : YEAR|WORD 2017|Word 1 2018|Word 2 코드 : dataF

1열

1답변

Vertica의 마루 내가 Vertica의 버전 "Vertica의 분석 데이터베이스 v7.1.1-0"다음 사용하고 난 다음 쿼리를 사용하여 테이블에 마루 형식 파일에서 데이터를 복사하려고 형식

: 내가 가진 테이블을 만든 COPY temp.sessions_parquet FROM '/dbadmin/vertica-import/parquet/*' ON ANY NODE PARQUET; 을 다음 DDL : CREATE TABLE temp.sessions_parquet (c0 VARCHAR, c1 VARCHAR, c2 VARCHAR, c3 VARCHAR

6열

1답변

스파크 용으로 HDFS에서 분할 할 수있는 파킹 파일이 있습니까?

인터넷에서이 주제에 대한 답변을 검색하고 읽을 때 혼란스러운 메시지가 표시됩니다. 누구나 자신의 경험을 공유 할 수 있습니까? 나는 czv가 gzipped 아니라는 사실을 알고있다. 그러나 Parquet 대 내부 구조는 어쩌면 Parquet 대 csv와 완전히 다른 경우 일까?

1열

1답변

디스크에 저장된 Spark/Parquet 데이터에 데이터 추가

나는 the one mentioned here과 비슷한 상황에 있습니다. 질문에 만족스럽게 대답하지 못했습니다. 게다가, 나는 처리 할 데이터가 적다 (하루 1G 정도). 내 상황 : 일정량의 데이터 (~ 500G)가 이미 마루 (동의 한 "저장 형식")로 사용할 수 있으며 정기적 인 증분 업데이트가 제공됩니다. 나중에 ETL 부분과 분석 부분을 처리 할

0열

2답변

쪽모퉁이 파일 상단의 pyspark 코드에서 테이블 만들기

을 PySpark 코드로 사용하여 parquet 파일 형식으로 데이터를 쓰고 있습니다. 이제 내가하려는 것은 동일한 코드에서 을이 parquet 파일 위에 작성한 다음 나중에 쿼리 할 수 있다는 것입니다. 어떻게해야합니까?

0열

1답변

데이터 형식이 일치하면서

나는 불꽃을 사용하여 CSV 파일에서 마루 구조를 생성 데이터 세트 : Dataset<org.apache.spark.sql.Row> df = spark.read().parquet("sample.parquet"); df.createOrReplaceTempView("tmpview"); Dataset<Row> namesDF = spark.sql("SELECT

1열

1답변

복잡한 json 또는 복잡한 객체를 Spark의 마루로 저장하는 방법은 무엇입니까?

저는 Spark를 처음 접했고 Spark에서 Parquet이라는 복잡한 객체 (중첩 된) 또는 복잡한 jsons를 저장할 수있는 방법이 있는지 파악하려고합니다. 나는 Kite SDK에 대해 알고 있지만 Map/Reduce를 사용하고 있음을 이해합니다. 주위를 둘러 보았지만 해결책을 찾지 못했습니다. 도움 주셔서 감사합니다.