Spana Dataframe을 Hana Vora 테이블에 저장하는 방법은 무엇입니까?

Question

Hana Vora로 가져 오기 전에 3으로 분할하고 일부 데이터 정리를 수행해야하는 파일이 있습니다. 그렇지 않으면 모든 것이 String으로 형식화되어야하며 이는 이상적이지 않습니다.

우리는 DataFrames를 아주 잘 만들었지 만 HDFS 파일 시스템에 쓰거나 더 나은 "com.sap.spark.vora"데이터 소스에 테이블로 저장하려고 할 때, 나는 오류가 발생합니다.

스파크 준비 데이터 세트를 Hana Vora로 가져 오는 신뢰할 수있는 방법에 대해 조언 할 수 있습니까? 감사!

Answer 1

현재 Vora는 (APPEND 문을 사용하여) 기존 테이블에 데이터를 추가하는 것을 공식적으로 지원합니다. 자세한 내용은 SAP HANA Vora Developer Guide -> "3.5 기존 테이블에 데이터 추가"를 참조하십시오.

이렇게하면 중간 파일을 만들어야합니다. Vora는 CSV, ORC, 파케 파일에서 읽는 것을 지원합니다. 데이터 프레임은 ORC 및 Parquet 파일에 Spark에서 직접 저장할 수 있습니다 (https://spark.apache.org/docs/1.6.1/sql-programming-guide.htm 참조). Spark에서 CSV 파일에 쓰려면 https://github.com/databricks/spark-csv

을 참조하십시오.