Azure Automation을 사용하여 HDInsight에서 Spark 2.0을 시작하는 방법

Question

Azure Automation 그래픽 런북에서 HDInsight Spark 2.0을 시작하는 방법을 알 수 없습니다. Spark 1.6을 사용하여 HDInsight와 함께 작동하는 기존 런북이 있습니다. 일반적으로 버전 문자열을 3.4에서 3.5로 업데이트하지만, HDInsight 3.5의 두 버전이 있습니다. 하나는 Spark 2.0이고 1.6은 1.6입니다.

누구나 내 러버 북에서 Spark2.0 버전을 사용하는 방법을 알 수 있습니까?

버전 참조 : https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning#hadoop-components-available-with-different-hdinsight-versions

Answer 1

나는 ARM 템플릿을 사용하여이 작업을 수행하는 방법을 결정했다. 바라건대 그것은 러닝 북에 관해 당신을 도울 것입니다. 다음은 2.0 클러스터를 수행하는 JSON입니다. clusterVersion 및 componentVersion 부분을 확인하십시오.

... 
"resources": [ 
    { 
     "apiVersion": "2015-03-01-preview", 
     "name": "somename", 
     "type": "Microsoft.HDInsight/clusters", 
     "location": "northcentralus", 
     "dependsOn": [], 
     "properties": { 
      "clusterVersion": "3.5", 
      "osType": "Linux", 
      "tier": "standard", 
      "clusterDefinition": { 
       "kind": "spark", 
       "componentVersion": { 
        "Spark": "2.0" 
       }, 
...