databricks

1열

1답변

제한된 시간 또는 레코드 수로 카프카 주제에서 스트리밍을 중단하는 방법을 확인하는 방법은 무엇입니까?

내 궁극적 인 목표는 카프카의 화제가 실행되고 있는지 확인하고 내가 생각하는 그것의 데이터가 좋은 경우는 true, 그렇지 않은 경우는/실패 난 그냥 100 개의 메시지를 당길 수 있다면 오류 를 던지, 아니면 그냥 60 초 동안 끌어 내가 원하는 것을 성취 할 수있다. 그러나 온라인에서 찾은 모든 스트리밍 예제/질문에는 스트리밍 연결을 종료 할 의사가 없

0열

1답변

프로그래밍 방식으로 Databricks spark-csv를 Spark 1.6.2 클라이언트에 추가하십시오.

저는 Spark 1.6.2와 함께 Python Spark 클라이언트 (yarn-client 모드로 실행 중)를 개발 중입니다. 여기서 중요한 점은 항상 클라이언트 컴퓨터에 있습니다. 파이썬 스크립트를 시작할 수 없지만이 스크립트를 파이썬 스크립트으로 실행해야합니다. 코드의 특정 시점에서 Spark Dataframe (즉, SQL 컨텍스트 사용)으로 HDFS

1열

1답변

오버로드 방법 값 UDF는

나는 다음과 같은 코드를 사용하여 Databricks 커뮤니티 에디션에서 테이블을 등록하려고 : overloaded method value udf with alternatives:

0열

1답변

Databricks Spark Notebook 보고서/대시 보드를 고객과 어떻게 공유합니까?

저는 몇 달 동안 제 플린을 사용해 왔습니다. 내부 데이터 분석을위한 훌륭한 도구입니다. 고객과 보고서를 공유하기위한 더 많은 기능을 찾고 있습니다. 나는 주간/월간/분기 보고서를 고객에게 보내야한다. 이 프로세스를 자동화하는 방법을 찾고 있습니다. Databricks Spark Notebook 또는 다른 도구에이 작업을 수행하는 데 도움이되는 기능이 있다

0열

1답변

로컬 컴퓨터에서 Azure Databricks 포털로 노트북을 가져 오는 방법은 무엇입니까?

Azure Databricks의 로컬에서 노트북을 가져 오는 방법은 무엇입니까? 필자의 로컬 컴퓨터에 DBC 형식의 샘플 노트가 있으며, 노트 레스트 API를 통해 가져와야합니다. curl -n -H "Content-Type: application/json" -X POST -d @- https://YOUR_DOMAIN/api/2.0/workspace/imp

0열

1답변

azure cli 명령 실행에서 형식이 잘못된 문자열 오류가 발생합니다.

Azure CLI를 통해 ARM 템플릿을 사용하여 Azure Databricks 서비스를 만들려고합니다. 나는 아래의 명령을 실행 , 나는 오류가 아래 얻고, 명령을 실행합니다 : - az group deployment create --name adb --resource-group palmresourcegroup3 --template-file templat

2열

1답변

Databricks FileStore에서 파일을 사용하는 방법

.dat 파일을 IP 조회에 사용하려고합니다. 파일 스칼라 코드에서 Databricks 파일 저장소에 : java.io.FileNotFoundException: FileStore/maxmind/GeoIPCountry.dat (No such file or directory) 방법은 상대/절대 경로

0열

2답변

spark를 통해 기존 HIVE 이야기에 csv 파일로드

다음은 RDBMS에 연결하기 위해 작성한 코드입니다. 임시 테이블을 만들고, 임시 테이블에서 SQL 쿼리를 실행하고, SQL 쿼리 출력을 .csv 형식으로 저장합니다. through databricks 모듈. py4j.protocol.Py4JJavaError: An error occurred while calling o68.saveAsTable. : ja

0열

1답변

Databrics spark API를 사용하여 xml 처리를위한 스키마 옵션을 계발하십시오

"0001546"과 같은 문자열 값을 가진 xml을 처리해야합니다. 데이터 프레임 xml API를 사용하여 데이터 프레임에로드하면 실제 문자열 값이 double 유형으로 변환됩니다. 이중 값이 "0001546"에서 1546으로 전체 값을 변경하는 문제가 있습니다. 이것은 숫자에 대한 문자열의 암시 적 유형 캐스팅 때문에 발생하지만 이런 행동을 원하지 마라.

0열

1답변

Python 노트북을 사용하여 Databricks에서 스파클링 워터 클라우드 생성

Databricks를 사용하여 스파크 내에서 스파클링 워터 클라우드를 실행하려고합니다. 내가 실행중인 클러스터에 H2O 라이브러리 (3.16.0.2), PySparkling (pysparkling 0.4.6) 및 Sparkling Water jar (sparkling-water-assembly_2.11-2.1.10-all.jar)를 첨부했습니다. (Spar