hdinsight

0열

2답변

Microsoft Azure HDInsight 3.5에서 Jupyter 노트북을 실행할 때 404 : Not Found 오류

Microsoft Azure에 표준 구성 (Location = US East, Head Nodes = D12 v2 (x2))으로 HDInsight 3.5 Spark (2.0) 작업자 노드 = D4 v2 (x4)). 클러스터가 실행 중일 때 "Cluster Dashboards"빠른 링크에서 Jupyter Notebook을 클릭합니다. 프롬프트에서 내 사용자

0열

1답변

sparkmagic

을 통해 로컬 jupyter 노트북을 HDInsight Cluster에 연결합니다. Microsoft Azure에 표준 구성 (위치 = 미국 동부, 헤드 노드 = D12 v2 (x2), 작업자 노드 = D4 v2)을 사용하여 HDInsight 3.5 Spark (2.0) (x4)). 로컬에서는 https://github.com/jupyter-incubato

0열

1답변

HDInsight의 Jupyter 노트북에서 자신의 모듈 가져 오기

표준 구성 (위치 = 미국 동부, 헤드 노드 = D12 v2 (x2), 작업자 노드 = D4 v2 (x))로 Microsoft Azure에 HDInsight 3.5 Spark 4)). 클러스터가 실행 중일 때 나는 Jupyter 노트북에 연결하고 생성 된 모듈을 가져 오려고합니다. 이것은 불행하게도 작동하지 않습니다 import own_module ,

1열

1답변

azure HDInsight 응용 프로그램에 사용자 정의 로그 추가

azure HDInsight 클러스터에 scala + apache spark 2.0 응용 프로그램을 배포하고 있습니다. Azure 포털을 통해 응용 프로그램의 기본 얀 로그를 볼 수 있습니다. 그러나 우리의 요구 사항은 응용 프로그램 특정 (비즈니스 사례) 로그에 대한 자체 사용자 지정 로거 (오류, 디버그 로그)를 추가하는 것입니다. 우리는 클러스터 외부

3열

1답변

Azure 저장소 액세스 키 암호화 및 암호 해독 방법

Azure VM을 만들고 Java 응용 프로그램을 설치 한 다음 WASB 저장소에 연결했습니다. Java 응용 프로그램에서 WASB 저장소에 액세스하려면 다음 jars 및 core-site.xml을 추가했습니다. azure-storage hadoop-azure 내가 코어를 site.xml에 직접 저장 액세스 키를 사용하고 <configuration>

0열

1답변

SQOOP가 SAP HANA 드라이버를로드 할 수 없습니다.

SAP HANA 데이터베이스에서 SQOOP를 사용하여 Azure DataLake Store로 데이터를 가져 오려고합니다. 이것을 위해 HANA 데이터베이스에 연결하기 위해 HDB 클라이언트를 다운로드했지만 'ngdbc.jar'를 $ SQOOP_HOME/lib에 복사 할 위치를 찾고 있습니다. HDInsight 클러스터에서 환경 변수 $ SQOOP_HOME/

0열

1답변

Microsoft Azure HDinsight Ambari Sqoop 및 Postgres

Microsoft Azure HDInsigt의 postgres에서 hdfs로 데이터를 가져 오려고합니다. 지금은 목록 DBS sqoop list-databases --connect jdbc.postgresql://xx.xxx.xxx.xxx:yyyy --username myuser --password mypassword 경우 매우 간단한 명령으로 시작 내

0열

1답변

HDInsight의 Knox 및 Falcon

Azure HDInsight에서 KNOX 및 Falcon의 용도로 사용되는 Microsoft Azure 구성 요소가 있습니까? 어쨌든 대부분의 작업 흐름과 일정은 Azure Data Factory를 통해 이루어집니다. 우리는 오픈 소스보다는 오히려 푸른 색 구성 요소쪽으로 더 기울어 져 있습니다. 그래서 KNOX는 HDInsight의 최신 버전에서 사용할

2열

1답변

HD Insight에서 Jupyter Notebook과 함께 Spark 패키지 사용

Jupyter 노트북을 통해 PySpark에서 graphFrames를 사용하려고합니다. Spark 클러스터가 HD Insight에 있기 때문에 kernel.json을 수정할 권한이 없습니다. [여기] [1]과 [여기] [2]에서 제안 된 해결책은 효과가 없습니다. 이것이 내가 실행하려고 한 것입니다. import os packages = "graphfra

0열

1답변

Hadoop을 이용한 R 시장 마켓 분석

몇 백만 행의 거래 시장 바구니 데이터에 대한 선호도 분석을 신속하게 수행하려고합니다. 지금까지했던 어떤 : 이 이 RevoScaleR 시작하기 구름에 스파크 & 하둡의 상단에 R 서버 (푸른 HDInsight) HDFS에 로드 데이터를 생성 그러나 나는 마지막 단계에서 멈추었습니다. 필자가 이해하는 한, RevoScaleR에서 제공하지 않는 기능을 사용하