spark-csv

1열

2답변

모든 작업에서 외부 소스에서 데이터 프레임을 읽을 수 있습니까? 스파크 쉘에

나는 csv 파일이 10 개 행을 표시 가정 val df = spark.read.format("org.apache.spark.csv").option("header", "true").option("mode", "DROPMALFORMED").csv("/opt/person.csv") //spark here is the spark session df.show()

1열

1답변

S3에서 Spark로 중첩 된 csv 파일로드

로드하려고하는 s3에 수백 개의 gzip으로 압축 된 csv 파일이 있습니다. 디렉터리 구조는 다음과 유사합니다. bucket -- level1 ---- level2.1 -------- level3.1 ------------ many files -------- level3.2 ------------ many files ---- level2.2

3열

1답변

스칼라 : 나는 DataFrame에 원시 CSV를로드하고 NULL

Spark Version: spark-2.0.1-bin-hadoop2.7 Scala: 2.11.8 를 반환 스파크 SQL의 TO_DATE (UNIX_TIMESTAMP). csv에서 열은 날짜 형식으로 지원되지만 2016-1025 대신 20161025로 작성됩니다. 매개 변수 date_format에는 yyyy-mm-dd 형식으로 변환해야하는 열 이름 문자열이

0열

1답변

스파크 : 마스터 로컬 [*]이 마스터 로컬보다 훨씬 느림

나는 을 r3.8xlarge (32 cores, 244G RAM)으로 설정했습니다. 내 Spark 응용 프로그램에서 , 나는 DataBrick에서 Spark-CSV를 사용하여 S3에서 두 개의 CSV 파일을 읽고있다, 각 CSV는 약 5 백만 행이 있습니다. 나는 unionAll 두 DataFrames이며 결합 된 DataFrame에 dropDuplicat

0열

1답변

spark에서 텍스트 형식 파일을 읽는 방법

S3 데이터 형식 (.gz)의 데이터 집합이 있고 spark.read.csv를 사용하여 파일을 spark로 읽습니다. 약 100GB의 데이터이지만 150 개의 열을 포함합니다. 5 열만 사용하므로 (데이터의 폭을 줄임) 5 열만 선택했습니다. 이런 종류의 경우에 spark는 100GB의 데이터를 스캔하거나 모든 열 (예 : 기둥 형식)을 스캔하지 않고이 5

2열

1답변

동적 로딩 com.databricks : 내 응용 프로그램

나는 불꽃 제출하여, 내 응용 프로그램에 동적으로 com.csv 스파크 패키지를로드 할 필요 에 스파크 CSV 불꽃 패키지, 그것은 spark-submit --class "DataLoaderApp" --master yarn --deploy-mode client --packages com.databricks:spark-csv_2.11

3열

1답변

정확한 null 허용 케이스 클래스의 Spark 스키마

사용자 정의 견적서의 transformSchema 메소드의 경우 입력 데이터 프레임의 스키마를 사례 클래스에 정의 된 스키마와 비교할 수 있어야합니다. 일반적으로 아래에 설명 된대로 Generate a Spark StructType/Schema from a case class처럼 수행 할 수 있습니다. 그러나 잘못된 Null 허용이 사용됩니다 root |

1열

1답변

여기 엔 나무 마루로 된 스키마와 스파크

저는 CSV 파일을 마루로 변환하려고합니다. 그리고 이것을 수행하기 위해 스파크를 사용하고 있습니다. SparkSession spark = SparkSession .builder() .appName(appName) .config("spark.master", master) .getOrCreate(); Dataset<Ro

0열

1답변

Spark REST API : 데이터 소스를 찾을 수 없습니다. com.databricks.spark.csv

s3에 저장된 pyspark 파일이 있습니다. Spark REST API를 사용하여 실행하려고합니다. 나는 다음과 같은 명령을 실행하고 : curl -X POST http://<ip-address>:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data

2열

1답변

bzip2 csv 데이터에서 데이터 프레임 통합을 수행 할 때 인덱스가 범위를 벗어남 오류

문제가 아주 이상합니다. 압축되지 않은 파일로 작업하면 아무런 문제가 없습니다. 하지만 압축 된 bz2 파일로 작업하면 범위를 벗어난 색인이 생성됩니다. 필자가 읽은 바로는 스파크 -csv 파서가 줄 끝 문자를 감지하지 못하고 전체 내용을 거대한 줄로 읽습니다. 압축되지 않은 CSV에서는 작동하지만 .csv.bz2 파일에서는 작동하지 않는다는 사실은 나에게