hdinsight

1열

1답변

hadoop HDInsight 노드의 이미지/스냅 샷을 가져 와서 클러스터 생성에 사용할 수 있습니까?

내 노드에 드라이버와 유틸리티를 구성 했으므로 HDInsight hadoop 클러스터의 이미지/스냅 샷을 찍고 싶습니다. 스냅 샷을 가져 와서 클러스터 생성에 사용하여 동일한 구성을 복제하려면 어떻게해야합니까?

0열

2답변

Intellij를 사용하여 스칼라 코드를 작성한 다음 실행을 위해 Azure HDInsight 스파크 클러스터로 보냅니다. 실행중인 작업에 대한 로그 세부 정보가 표시되지만 내 println() 문에서 출력이 표시되지 않습니다. 정상입니까? 프로그램 실행 결과를 볼 수있는 방법이 있습니까?

1열

2답변

버전 충돌 DataLake에 대한 인증뿐만 아니라 Microsoft.IdentityModel.Clients.ActiveDirectory HDInsight에 대한 인증에 nuget 패키지 Microsoft.Rest.ClientRuntime.Azure.Authentication 사용 하늘빛 함수 작성 Microsoft.IdentityModel.Clients.ActiveDirectory

검출. 함수 프로젝트에 모두 설치하려고하면 다음 오류가 발생합니다. uninstall-package : Microsoft.IdentityModel.Clients.ActiveDirectory의 버전 충돌이 감지되었습니다. 이 문제를 해결하려면 프로젝트에서 직접 패키지를 참조하십시오. MyProject.Functions (> = 1.0.0) -> Microso

0열

1답변

안전한 사용 가능 스토리지 계정에 대해 HDInsight 클러스터에서 스파크 작업 제출

HDInsight 3.6에서 ADF 또는 Livy를 사용하여 스파크 작업을 제출하려고 할 때 이있는 Spark 2.1 보안 전송에 연결된 스토리지 계정에이 필요합니다. 스파크 작업을 제출하지 않고 YARN UI에서 스파크 작업을 볼 수 없지만이를 사용 중지 한 경우 제출할 수있는 것과 동일한 방법으로 안전한 전송을 위해 연결된 스토리지 계정에이 필요합니다.

0열

1답변

HDInsightSpark ACCEPTED : AM 컨테이너가 할당되고 시작되고 RM에 등록되기를 기다리는 중

데이터 팩토리에서 SPARK/HDINSIGHT 클러스터를 호출하여 HDInsightSpark Python 활동을 실행할 수 없습니다. 기본 Azure Spark Cluster의 구성을 변경해야합니까? 전용 대기열을 만들려고했는데 새 대기열에서 작업을 볼 수 있지만 여전히 같은 오류가 발생합니다. 이 오류는 일반적인 것으로 보이지만이를 해결하는 수정 프로그램

-1열

1답변

하이브 쿼리를 사용한 데이터 구문 분석

Azure 데이터 팩토리를 통해 파이프 라인을 구축 중입니다. 입력 데이터 세트는 열 구분 기호가있는 csv 파일이고 출력 데이터 세트는 csv 파일 열 구분 기호입니다. 파이프 라인은 확장명이 .hql 인 파일에서 하이브 쿼리를 통해 HDinsight 활동으로 설계되었습니다. 다음은 set hive.exec.dynamic.partition.mode=non

0열

1답변

azure HDInsight의 에지 노드에있는 ssh

에지 노드가있는 HDInsight 클러스터를 배치하려고했습니다. 배포를 위해 https://github.com/Azure/azure-quickstart-templates/blob/master/101-hdinsight-linux-with-edge-node/azuredeploy.json을 사용했습니다. ssh [email protected]:22 [mycl

2열

2답변

Azure에서 Java를 사용하여 HDI 클러스터를 생성/삭제하는 방법

HDI 클러스터에서 시퀀스 스파크 작업을 실행하고 있습니다. HDI 클러스터는 테스트 실행 시간에만 사용할 수 있어야합니다. 그래서 어떻게 푸른 자바 프로그램을 사용하여 위를 할 수있는 는 HDI 클러스터 삭제 내 검사를 실행 만들기 HDI 클러스터 자바 를 사용하여 다음을 수행 할?

0열

1답변

TRIM 기능없이 SQOOP에서 가져온 테이블을 사용할 수 있습니까?

Microsoft Azure HDInsights Hadoop Cluster에서 Oracle 데이터베이스의 데이터를 Hive 스키마로 직접로드하는 SQOOP 작업이 있습니다. 그러나 기반 필드 (예 : varchar 변수)를 가져올 때 문자열로 가져 오는 것으로 나타났습니다. 이것은 잘못된 것이 아니며 완벽하게 작동합니다. 그러나 Hive Database의

0열

1답변

Azure ML - 가져 오기 하이브 쿼리 실패 - ADLS를 통한 하이브

우리는 Azure ML 및 ADLS 조합을 작업 중입니다. HDInsight Cluster는 ADLS를 통해 작동하므로 하이브 쿼리와 HDFS 경로를 사용하여 문제가 발생합니다. 하이브 쿼리에서 데이터를 읽고 HDFS에 쓰는 문제를 해결하는 데 도움을 요청하십시오. https://studioapi.azureml.net/api/sharedaccess?work