hdinsight

1열

2답변

하늘색 방울 컨테이너에서 모든 파일을 불꽃 RDD로 읽어야합니다. 하늘빛 HDInsight를 사용 중입니다. 클러스터가 입력 디렉토리와 동일한 스토리지 계정에 구성되어 있습니다. 이것을 달성하기위한 Java API/예제가 있습니까?

2열

1답변

스파크 작업 속도 관계형

내 설정 : 나는 MS SQL 서버 내가 푸른 HDInsights Spark.Version에서 실행되는 스파크 클러스터가 푸른 (V12)을 실행이 : 1.6.2 Scala.Version : 2.10.5 나는 JDBC 드라이버를 통해, SQL 서버에서 내 데이터 (약 5 백만 행)에서 당겨, 다음 일을 업데이트하고 열 이름. 그렇다면 내 논리를 수행합니다.

0열

1답변

컨테이너

나는 하이브 외부 테이블 생성 시도 에 XMLS을 기반으로 HDInsight 하이브 외부 테이블을 정의하는 방법 : 하는 외부 테이블의 TestXML (storexml 문자열) CREATE TEXTFILE LOCATION 'wasb로 저장을 : /// 테스트/'; 나는 다음과 같은 쿼리를 실행하려고하면 그러나, 필드를 추출하기 위해 수 없습니다 : xpat

1열

1답변

HDInsight에서 사용하기 위해 psycopg2를 설치하는 방법 PySpark Jupyter notebook

PySpark 스크립트의 일부로 "import psycopg2"가 필요합니다. documentation 당 : !pip install psycopg2 을하지만 구문 오류가 발생합니다 (모든으로 명령한다!). /usr/bin/anaconda/bin/python에 대한 SSH 세션에 설치할 수 있었지만 Jupyter가 다른 환경을 사용하고있는 것으로 보입니까?

2열

1답변

Azure Resource Management API를 사용할 때 AAD 토큰 새로 고침을 처리하는 모범 사례

이 지침 https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-dotnet-sdk/에 따라 ARM 기반 HDInsight 클라이언트를 사용하여 클러스터를 만들 예정입니다. 로직이 같다 : AAD로 var authToken = authCont

0열

1답변

데이터 쓰기가 나는 그것의 생존은 하둡 파일 시스템 쿼리 결과를 작성하는 것을 볼

hdinsight에서 하이브 쿼리에서 파일 시스템 : 나는 폴더에 hdinsight의 경우에 쿼리 결과를 저장하려면 어떻게 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Writingdataintothefilesystemfromqueries blobs

0열

1답변

HDInsight Intellij Plugin 인증

OSX El Capitan에서 IntelliJ Community 2016.2.4를 실행 중이며 HDInsight 플러그인을 사용하여 Azure의 Spark Cluster에서 Spark Application을 실행하려고합니다. 그러나 Azure 구독으로 HDInsight 플러그인을 인증하려고 시도 할 때 로그인 성공 후 로그인하라는 메시지가 반복적으로 표시됩

1열

1답변

모든 노드가 클러스터에서 사용되지 않습니다.

YARN에서 관리하는 30 노드 Hadoop MR2 클러스터가 있습니다. 현재 10 개의 Oozie 작업이 있으며 각 작업에는 단일 Map 프로그램이 실행됩니다. 30 개 노드 중 11 개 노드 만 실제로 활용되고 있음을 알았습니다. 맵 프로그램을 실행하는 컨테이너가있는 노드는 11 개뿐입니다. 나는 각 노드에 최소한 하나의 컨테이너가 실행될 것으로 기대한

0열

1답변

R 서버 HD 인사이트 클러스터 호스트 키 확인에 실패했습니다.

퍼티가 자극 한 SSH 터널을 사용하여 R 서버를 실행하는 HD 인사이트 클러스터를 설정했습니다. 호스트 키 검증 실패 : 나는 RxSpark() 기능을 사용하는 등 사용자 이름, 호스트 이름을 지정할 갈 때 나는 상태 반환 된 오류 메시지가 표시됩니다.지정된 ssh 도구를 직접 사용하여 호스트 연결을 확인한 다음 다시 시도하십시오. 호스트 연결의 유효성을

0열

1답변

푸른 oozie 워크 플로우

는 내가 작업 정의는 다음과 같습니다 azurehdinsight 클러스터에 oozie 워크 플로우 실행하려고 2016-10-04 06:16:06,816 INFO ActionStartXCommand:520 - SERVER[hn0-saint.3oitbdwtly0uzabcmledackovts0a.bx.internal.cloudapp.net] USER[saint]