hdinsight

0열

1답변

Azure HDInsight Linux 클러스터에서 spark Java 응용 프로그램을 개발하려고합니다. 우리는 Livy를 통해 신청서를 제출할 수 있었고 제대로 작동합니다. 우리가 직면 한 문제는 로깅과 관련이 있습니다. RollingFileAppender를 사용하면 출력 .log 파일의 경로를 지정해야하기 때문에 여기에서 log4j를 어떻게 사용할 수

0열

1답변

하이브 ODBC를 사용하여 HDInsight 클러스터에 연결할 수 없습니다.

Microsoft Hive ODBC Driver DSN Setup을 사용하여 하이브 테이블을 Excel 시트로 가져올 수 있도록 HDInsight 클러스터에 연결하려고합니다. Excel이 올바르게 설정되었으므로 걱정하지 않아도됩니다. 때문에, 는 "Failed to establish connection SQLSTATE: HY000[Microsoft][Hiv

0열

1답변

배포를 피하십시오. 클러스터 생성시 HDInsight 샘플

스크립트 install_hdisamples.py은 HDInsight 클러스터 생성시 실행됩니다. 파일 샘플이있는 폴더와 참조 된 저장소에 일부 테이블을 만듭니다. 클러스터 생성시 이러한 스크립트의 배포를 피할 수 있습니까? ARM 템플릿에서이 작업을 수행 할 수 있습니까?

0열

2답변

HDInsight Jupyter에 외부 종속성을 추가하는 방법은 무엇입니까?

Azure에서 HDInsight Spark 클러스터를 사용 중이고 Jupyter가 외부 종속성을 추가하지 못했습니다. 내가 의도적 인 실수 할 경우 그러나 : %%configure { "packages":["com.websudos:phantom_2.10:1.27.111111111111"] } 그래서이 패키지를 해결하기 위해 노력을, 단지 그들을로드되지

1열

1답변

Azure Data Factory는 IP 제한 VNet에서 HDInsight 클러스터에 액세스 할 수 없습니다.

Azure VNet에 HDInsight Hadoop 클러스터 (Linux, 별도 배포)가 있습니다 (NSG를 사용하여 클라이언트 IP 제한). Azure SQL 방화벽에는 "Azure 서비스에 대한 액세스 허용"이라는 옵션이 있습니다.이 옵션을 선택하면 데이터 팩토리에서 Azure SQL에 액세스 할 수 있습니다. VNet에는 이러한 옵션이 없기 때문에 I

0열

2답변

Azure HDInsight에서 처리하는 동안 데이터 분포가 어떻게 이루어 집니까

Hadoop의 판매 포인트 중 하나는 데이터가 계산에 포함되어 있다는 것입니다. WASB와는 어떻게 작동합니까? MapReduce 작업을 처리 할 때 데이터 블록이있는 곳에서 맵 및 축소 작업이 실행됩니다. 이렇게하면 데이터 지역성을 얻을 수 있습니다. 그러나 HDInsight의 경우 데이터는 wasb에 저장됩니다. 따라서 MapReduce가 실행되면 데이

0열

1답변

Azure 데이터 팩토리에서 돼지 용 Python UDF 요청시 HDInsight 클러스터

돼지 데이터 저장소와 하늘색 데이터를 사용하여 돼지 스크립트를 저장할 때 돼지 용 Python UDF를 포함하는 방법은 무엇입니까?

1열

1답변

HDInsight Hadoop (Linux) 클러스터에서 어떻게 죽은 노드를 복구합니까?

HDInsight Hadoop (Linux) 클러스터의 작업 노드 중 하나가 작동하지 않습니다 (하트 비트 전송 중지됨). HDInsight가이를 교정하려고 할 가능성이 있습니까? 그렇지 않은 경우 온라인으로 다시 가져 오는 방법은 무엇입니까?

0열

1답변

YARN 새로 만든 HDInsight 클러스터 요약 6 개의 완료된 응용 프로그램을 보여줍니다.

나는 그것을 가리키며 새로 만들었던 HDInsight 클러스터 (Linux의 표준 Hadoop [HDI 3.2.1000.0])를 가지고 있습니다. 따라서이 클러스터를 컴퓨팅으로 사용하는 작업이 없습니다. 여전히 Ambari YARN 요약 대시 보드에 다음이 표시됩니다. - Applications 6 submitted/0 running/0 pending/6

1열

1답변

HDInsight 클러스터의 YARN 앱 수가 갑자기 급증한 경우

때때로 갑자기 YARN 작업 수가 급증하여 클러스터가 잘못 작동하는 것 같습니다. HDInsight Linux 기반 Hadoop 클러스터를 사용하고 있습니다. 기본적으로 Azure Data Factory 작업을 실행하여이 클러스터를 가리키는 하이브 스크립트를 실행합니다. 특정 시간에 YARN 앱의 평균 개수는 일반적으로 50 회 실행되고 40 ~ 50 회는