원격으로 Azure HDInsight에 작업을 제출하십시오

Azure HDInsight Spark 클러스터를 설치했습니다. 내 클러스터에 원격으로 작업을 보내고 싶습니다.원격으로 Azure HDInsight에 작업을 제출하십시오

import org.apache.spark.api.java.JavaSparkContext; 
import org.apache.spark.api.java.JavaRDD; 
import org.apache.spark.SparkConf; 

public class App 
{ 
    public static void main(String[] args) 
    { 
     SparkConf conf = new SparkConf().setAppName("App").setMaster("spark://12.34.56.78:7077"); 
     JavaSparkContext sc = new JavaSparkContext(conf); 
    } 
}

클러스터가 원사 모드로 작성되었습니다. 스파크 노동자의 주인은 "실 클라이언트"입니다. 호스트 이름이나 IP 주소에 직접 연결하는 것이 바람직했습니다.

이 문제를 해결하는 좋은 방법은 무엇입니까?

출처

2017-02-01 Tempest Dave

Livy 서비스를 사용하여 원격으로 작업을 제출할 수 있습니다. 귀하의 코멘트에 작업을 제출하는 다른 방법에 대한 답변 https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-livy-rest-interface

출처

2017-02-01 17:46:59 maxiluk

저는 Livy와 같은 솔루션에서 멀리하고 싶습니다. 다른 방법이 있습니까? HDInsight 클러스터를 YARN에서 Standalone으로 다운 그레이드하는 방법 (Spark 마스터에 작업을 직접 보낼 수있는 방법)은 어떻습니까? –

@TempestDave HDInsight를 클러스터에서 독립형으로 다운 그레이드하려는 이유를 알지 못합니다. 그리고 HDInsight를 독립 실행 형 모드로 수동으로 재구성 할 수는 있지만, AzIn VM의 다중 인스턴스에서 HDInsight를 만들면 변경되지 않기 때문에 Azure에서는 감지 할 수 없습니다. 독립형 Hadoop/Spark를 사용하려면 Azure VM의 단일 인스턴스에 수동으로 설치할 수 있습니다. –

-1

, 당신은 그것을 알고 참조 https://docs.microsoft.com/en-us/rest/api/hdinsightspark/hdinsight-spark-batch-job를 참조하십시오, HDInsight 스파크의 REST API를 Batch Job를 사용하려고 할 수 있음을 수행하는 방법에 대한이 문서에 reffer하십시오 .

출처

2017-02-02 08:00:46

아직 LIVY를 사용 중입니다. – bearrito

원격으로 Azure HDInsight에 작업을 제출하십시오

답변

관련 문제