databricks

0열

1답변

Spark 2.0 - Databricks xml reader 입력 경로가 존재하지 않습니다.

Databricks XML 파일 판독기 API를 사용하려고합니다. 샘플 코드 : 내가 직접 파일 경로를 제공하는 경우 val spark = SparkSession .builder() .master("local[*]") .appName("Java Spark SQL basic example") .config("spark.sq

3열

1답변

스파크에서 탄성 검색으로 rdd를 쓰지 못했습니다.

탄성 클라우드에서 탄성 검색에 rdd를 쓰려고합니다. 버전은 2.4.0입니다. 나는 ES에 쓰려면 elasticsearch-spark_2.10-2.4.0 플러그인을 사용하고 있습니다. 여기 내가 ES에 쓸 사용하고있는 코드입니다 : def predict_imgs(r): import json out_d = {} out_d["pid"

0열

1답변

Spark com.databricks.spark.csv가 노드 스냅을 사용하여 압축 된 압축 파일을로드 할 수 없습니다.

S3에 약간의 압축 알고리즘 (node-snappy 패키지 사용)을 사용하여 압축 된 일부 CSV 파일이 있습니다. 나는 그 파일을 com.databricks.spark.csv을 사용하여 스파크에서 처리하는 것을 좋아하지만 잘못된 파일 입력 오류가 지속적으로 발생합니다. 코드 : file_df = sqlContext.read.format('com.datab

1열

1답변

Pyspark은 CSV 읽기 - 나가서 설명하자면 NameError를 : 이름 '스파크'나는 스파크 세션을 호출하고 csv 파일 열을 사용하기 위해 databricks에서 다음 코드를 실행하려고

정의되지 않은 : spark fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True) 을 그리고 다음과 같은 오류가 발생합니다. Nam

0열

1답변

Zeppelin 전자 필기장을 자동화하십시오

안녕하세요 저는 databricks 노트북을 자동화하는 databricks 웹 세미나를 보았고 전자 필기장이 종속성이있는 종속 항아리가 있습니다. 이 Zeppelin을 할 수 있습니까? bash 스크립트에서 노트북으로 스크립트를 호출하는 것. 스크립트처럼 노트북을 실행하려면. 이런 방식으로 프로덕션 환경에서 내 노트를 사용하고 싶습니다.

1열

1답변

Spark SQL을 사용하여 ISO 8601에서 datetime 구문 분석

this하지만 그 반대의 경우를 원합니다. 내 date의이 형식 YYYY-MM-DDThh:mm:ss에, 내가 원한다면 내가 특정 쿼리, CONCAT 수있는 두 개의 열 YYYY-MM-DD 및 hh:mm을 할 수 있습니다. convert()을 사용할 때 오류가 발생합니다. Spark SQL에서는 현재 지원되지 않는다고 가정합니다. date(datetime)

0열

1답변

는 단일 작업자에 점화 프로세스 큰 파일 하는가

sc.textFile("somefile.xml") 가령와 아파치 스파크 큰 파일을 처리하는 것이 실행기에서 병렬 처리를 분할하거나, 이는 하나의 청크에서와 같이 처리한다 수행 한 명의 유언 집행자? Databricks의 implicit XMLContext으로 데이터 프레임을 사용할 때 그러한 대규모 데이터 세트 처리를 위해 미리 최적화 된 최적화가 있습니까

0열

1답변

S3 버킷에 텍스트 파일로 Spark RDD 쓰기

Spark RDD를 gpipped 텍스트 파일 (또는 여러 텍스트 파일)로 S3 버킷에 저장하려고합니다. S3 버킷은 dbfs에 마운트됩니다. 나는 다음과 같은 사용하여 파일을 저장하기 위해 노력하고있어 : rddDataset.saveAsTextFile("/mnt/mymount/myfolder/") 을하지만이를하려고 할 때, 나는 점점 오류 계속 : 나

0열

1답변

Apache Spark 출력을 볼 수 없습니다.

저는 Apache Spark을 배우기 시작했습니다. 나는 링크의 출력을 인쇄하려고하지만 어떤 이유로 그것을 표시하지 않습니다. 나는 또한 links.collect(), display (links)를 시도했지만 그 중 아무 것도 작동하지 않는다. 어떤 도움을 주시면 감사하겠습니다. 두 번째 이미지에 대한 전체 스택 추적 : Py4JJavaError

0열

1답변

Databricks (python)을 사용하여 S3에 올바른 파일 형식을 저장할 수 없습니다

며칠 전 Databricks를 사용하기 시작했으며 S3/bucket_name /../ raw에서 일부 로그 파일을 가져 와서 확인하려고합니다. 로그에는 'S3/bucket_name /../ processed/'이라고하는 다른 폴더에 작업하고 싶은 줄이 포함되어 있습니다. 이것은 내가 지금까지 시도한 것입니다. RAW_LOG_PATH = "dbfs:/mnt/