hdinsight

0열

1답변

Livy를 통해 장시간 실행되는 Spark 배치 작업을 제출할 때 작업은 기본적으로 5 회 재시도로 끝나며 결국에는 결국 실패합니다. 작업을 즉시 실패 할 수 있도록 어떻게 변경합니까? 내 환경은 Azure HDInsight (HDP)에서 실행되는 Spark 1.6입니다. 감사합니다.

0열

1답변

일치하는 항목이 여러 개인 경우 최대 값을 가져 오는 Xpath

xml에서 하이브 외부 테이블을 만듭니다. Timestamp가 최대 인 요소의 값을 가져 오려고합니다. 이 테이블 문 작성에 어떻게 이것을 작성합니까? 내 XML : <Parent> <Child> <Purchase value ="100" id ="350" timestamp="2016-10-08T14:22:31.0000000">

4열

1답변

Azure Automation을 사용하여 HDInsight에서 Spark 2.0을 시작하는 방법

Azure Automation 그래픽 런북에서 HDInsight Spark 2.0을 시작하는 방법을 알 수 없습니다. Spark 1.6을 사용하여 HDInsight와 함께 작동하는 기존 런북이 있습니다. 일반적으로 버전 문자열을 3.4에서 3.5로 업데이트하지만, HDInsight 3.5의 두 버전이 있습니다. 하나는 Spark 2.0이고 1.6은 1.6입

0열

1답변

HDInsight 클러스터를 삭제할 수 없습니다.

내리고 싶은 스파크 클러스터를 배포했습니다. 배포를 완료하는 데 오랜 시간이 걸렸으므로 삭제하고 싶습니다. 삭제 버튼이 회색으로 표시됩니다. 자원 그룹을 삭제 한 지 15 분이 지났지 만 클러스터는 여전히 실행중인 것 같습니다. 나는 이것을 오랫동안 계속 유지할 여유가 없다.

0열

1답변

창에서 고정되는 열 값에 따라 카운터를 증가시키는 방법은 무엇입니까?

시간이 지남에 따라 특정 사용자가 있었던 지역을 나타내는 데이터 세트가 있습니다. 이 데이터 세트에서 각 위치에서 보낸 밤의 수를 계산하려고합니다. "밤을 보내다"는 말은 : 특정 날짜의 23시 59 분까지 사용자의 마지막 위치를 가져옵니다. 해당 사용자의 모든 관측 위치가 그 다음날 05:00까지 또는 아직없는 경우 첫 번째 요일이 전날의 마지막 시간과

0열

1답변

Ambari를 사용하여 Hadoop Hive에서 여러 쿼리 만들기

저는 클라우드에서 일하는 것을 처음 접했습니다. 일반적인 면책 조항입니다! 나는 Hadoop/Hive에 데이터베이스 집합을 설정하고 Ambari에서 하이브보기를 통해 쿼리합니다. 나는 이것을 Azure 플랫폼을 통해 돌린다. 내 데이터를 기반으로 테이블을 만들고이를 db에 저장하는 것은 효과적이지만 동일한 쿼리에서 여러 개의 개별 테이블을 만들면 이상한 오

0열

1답변

Hadoop을 사용하는 Big Data Analytics의 데이터 형식

Hadoop 작업에 다소 적합한 다양한 데이터 형식에 대해 읽은 후에는 분할 가능한 컨테이너 형식이므로 Apache Avro가 좋은 옵션 인 것으로 보입니다. 그래서 하나는 HDFS에 저장할 수 이러한 브로 파일은 다음과 같은 것을 볼 수 있었다 : { Header Message1 Message2 Message3

0열

1답변

HDInsight : Spark - 파일을 업로드하는 방법? 내가 AMbari 포털을 통해 파일을 업로드 할 을 회전 불꽃 클러스터하지만 난 HDFS 옵션이 표시되지 않습니다 :

는 나는 새 HDInisght이 내가 무엇을 놓치고를? .csv 파일을 서버로 가져 와서 파이썬 노트북에서 사용할 수 있습니까?

0열

1답변

HDInsight로 외부 데이터 소스 생성

HDInsight 클러스터로 외부 데이터 소스를 생성하려고합니다. 그렇게하는 동안 Hadoop, 이름, 노드, IP 주소 및 포트 번호와 같은 위치를 제공해야합니다. 그래서 HDInsight 클러스터에서 이름, 노드, IP 주소, 리소스 관리자 위치, IP 주소 및 포트 번호를 어디에서 찾을 수 있습니까? 이미 Core-site.xml & yarn-site

0열

1답변

HDInsight에서 SPARK 작업을 통해 제출 된 응용 프로그램이 사용하는 메모리 및 CPU 리소스를 어떻게 계산할 수 있습니까?

클라이언트는 HDInsight을 Big Data 플랫폼으로 사용하고 진행중인 시스템 관리의 일부로 전체 메모리를 및 스파크을 통해 실행되는 다양한 응용 프로그램의 CPU 소비. HDInsight 제품 구성 및 제공 방식이 약간 다르므로 YARN에는 Job Tracker UI가 포함되어 있지 않습니다. 메모리와 CPU를 캡처하는 방법이 있습니까? 정보를 추출