모든 작업이 완료된 후 Google DataProc 클러스터 자동 종료

Question

모든 작업이 완료되면 Google DataProc 클러스터를 프로그래밍 방식으로 종료 할 수 있습니까?

DataProc는 생성, 모니터링 및 관리 (https://cloud.google.com/dataproc/docs/resources/faq)를 제공합니다. 하지만 클러스터를 삭제하는 방법을 찾지 못했습니다.

Answer 1

자동으로 프로그램 몇 가지 방법이 클러스터가 종료 :

1. 전화를 REST api 직접 이들 중 하나를 사용할 수
2. Use the gcloud CLI

작업 후 (전화) (s) 실행을 마칩니다.

여기에 대한 자세한 내용보기 : https://cloud.google.com/dataproc/docs/guides/manage-cluster#delete_a_cluster

Answer 2

당신은 그 스칼라 코드를 수행 할 수 있습니다 - 클러스터 만들기 - 작업이 스칼라 작업 할 수 있음을하려면 삭제 클러스터

을 종료 - 모든 작업 을 실행 미래. 많은 작업이있는 경우 병렬로 실행할 수 있습니다.

val gcpJarBucket = "gs://test_dataproc/dataproc/Dataproc.jar" 
val jobs = Seq("package.class1","package.class2") 
val projectName: String = "automat-dataproc" 
val clusterName: String = "your-cluster-name" 

val timeout = 180 minute 

    // Working directory 
    implicit val wd = pwd 


    val future = Future { 
    println("Creating the spark cluster...") 
    % gcloud("dataproc", "clusters", "create", clusterName, "--subnet", "default", "--zone", "europe-west1-b", "--master-machine-type", "n1-standard-4", "--master-boot-disk-size", "50", "--num-workers", "3", "--worker-machine-type", "n1-standard-4", "--worker-boot-disk-size", "50", "--project", projectName) 
    println("Creating the spark cluster...DONE") 
    }.flatMap { _ => { 
    Future.sequence { 
     jobs.map { jobClass => 
     Future { 
      println(s"Launching the spark job from the class $jobClass...") 
      % gcloud("dataproc", "jobs", "submit", "spark", s"--cluster=$clusterName", s"--class=$jobClass", "--region=global", s"--jars=$gcpJarBucket") 
      println(s"Launching the spark job from the class $jobClass...DONE") 
     } 
     } 
    } 

    }} 

Try{ Await.ready(future, timeout) }.recover{ case exp => println(exp) } 
    % bash("-c", s"printf 'Y\n' | gcloud dataproc cl