spark-csv

-1열

2답변

inferSchema를 활성화하여 csv 파일을 spark df로 읽으려고하지만 fv_df.columns를 가져올 수 없습니다. 나는 열을 가져올 수 있어요 추가 작업을보다 내가 스키마를 추론하지 않는 경우 아래 그러나 오류 메시지 >>> fv_df = spark.read.option("header", "true").option("delimiter", "\

-1열

1답변

pyspark tsv 중복 열

spark_csv 패키지를 사용하여 pyspark에서 tsv 파일을 읽으려고합니다. 내 스파크 버전은 1.6.3입니다. 내 데이터 세트에는 두 개의 열이 같은 이름을 가지고 있습니다. 다음 코드를 사용하여 데이터를 읽습니다. pyspark.sql.utils.IllegalArgumentException: u"The header contains a duplic

0열

1답변

Databricks Spark CSV 헤더 구분 기호

우리의 csv 파일 형식은^A를 우리의 열 구분 기호로,^B를 줄 구분 기호/레코드 구분 기호로 사용합니다. 그래서 나는 dataframe을 만들려면 다음 식으로 databricks 스파크 CSV 라이브러리를 사용하고 있습니다 : 헤더 옵션에 대해 val dataFrame = cassSqlContext.read.format("com.databricks.sp

-1열

1답변

작동하지 스파크 데이터 프레임에 빈 값으로 null 값을 교체

나는 데이터 세트 1 LineItem.organizationId|^|LineItem.lineItemId|^|StatementTypeCode|^|LineItemName|^|LocalLanguageLabel|^|FinancialConceptLocal|^|FinancialConceptGlobal|^|IsDimensional|^|InstrumentId|^|Line

0열

1답변

다른 데이터 프레임 헤더로 데이터 프레임의 헤더를 변경하는 방법은 무엇입니까?

나는이 LineItem.organizationId|^|LineItem.lineItemId|^|StatementTypeCode|^|LineItemName|^|LocalLanguageLabel|^|FinancialConceptLocal|^|FinancialConceptGlobal|^|IsDimensional|^|InstrumentId|^|LineItemSequ

1열

2답변

sqlContext.read.load와 sqlContext.read.text의 차이점은 무엇입니까?

나는 텍스트 파일을 pyspark RDD로 읽으려고하고 있는데, sqlContext.read.load과 sqlContext.read.text 사이에 큰 차이가 있다는 것을 눈치 채고있다. s3_single_file_inpath='s3a://bucket-name/file_name' indata = sqlContext.read.load(s3_single_f

0열

1답변

은 내가 헤더 수동으로 여기에 첫 번째 열 를 추가 할에 dataframe있어

인사들 dataframe 스파크에 머리글과 열을 추가하면 dataframe val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate() val df = spark.read.option("header",true).option("inferSchema",true).c

0열

1답변

Spark CSV로 저장하지 마십시오. 공백을 무시하지 마십시오.

Dataframe을 CSV 파일로 저장하려고합니다. 공백을 유지하려고합니다. Spark 2.1.1을 사용하고 있습니다. 그러나 CSV 파일로 저장하려고하면 모든 공백이 제거됩니다. 이러한 옵션을 시도했지만 작동하지 않았습니다. option("ignoreLeadingWhiteSpace",false") .option("ignoreTrailingWhit

1열

2답변

Spark 2.1에서 CSV의 벡터 필드를 쓸 수 없습니다

데이터 프레임 저장과 관련된 문제가 발생했을 때 Spark 2.0에서 2.1로 코드를 마이그레이션하고있었습니다. java.lang.UnsupportedOperationException: CSV data source does not support struct<type:tinyint,size:int,indices:array<int>,values:array<do

2열

3답변

Spark에서 단일 (일반) csv 파일로 데이터를 쓰는 방법은 무엇입니까?

로컬 드라이브에 CSV 파일로 데이터 프레임을 저장하려고합니다. 그러나 그렇게 할 때 생성 된 폴더가 생성되고 그 파티션 내에 파일이 작성됩니다. 이것을 극복하기위한 제안이 있습니까? 내 요구 사항 : 코드에 제공된 실제 이름을 가진 일반 csv 파일을 가져 오려면. 코드 조각 : dataframe.coalesce(1).write.mode("overwrit