클러스터를 회전하는 동안 액세스 가능한 데이터 호수에서 BLOB 저장소로 파일을 복사하려고합니다. //data_lake_store_account.azuredatalakestore.net : 443/MyFolder에의 wasb : //[email protected]_account_name.blob.core.windows.net/example/data하늘색 HDInsight 스크립트 동작
나는 푸른 문서
하둡 distcp의 ADL에서이 명령을 사용하고/gutenberg
이제 하드 코딩 대신 자동화를 시도하는 경우 스크립트 동작에 어떻게 사용합니까? 구체적인 방법은 클러스터를 회전하는 동안 컨테이너 이름과 storage_account_name을 동적으로 가져올 수 있습니다. 아래 첫 번째
,
스크립트 작업은 단순히위한 배쉬 당신에 대한 URI를 제공하는 스크립트 및 매개 변수입니다. 이 스크립트는 HDInsight 클러스터의 노드에서 실행됩니다.
따라서 스크립트 작업을 작성하고 실행 방법을 알기 위해서는 공식 자습서 Script action development with HDInsight을 참조하기 만하면됩니다. 또는 REST API Run Script Actions on a running cluster (Linux cluster only)을 호출하여 자동으로 실행시킬 수 있습니다. 동적 컨테이너 이름을 & 저장소 계정을 얻는 방법에 대한
Get configuration REST API를 REST API를
Get configurations를 호출하고 JSON 응답에
core-site에서 원하는의 속성을 추출하거나 전화를하는 것입니다 매개 변수가
core-site이고 URL이
{configuration Type} 인 경우 JSON 응답에서 원하는 속성을 추출하십시오.
희망이 있습니다.
감사합니다. 여기 제가 시도하고있는 것이 있습니다. 포털을 사용하여 클러스터를 만들었습니다. 이제 헤드 노드에서 실행될 쉘 파일을 업로드 할 때 스크립트 작업이 실패합니다. 스크립트의 목적은 데이터 호수에서 tar 파일을 다운로드하는 것입니다. 그래서 그것을 테스트하고 단일 라인 쉘 파일 (mkdir 테스트)을 작성 했으므로이 스크립트도 실패합니다. 내가 여기서 뭐하는거야? – kmk1
@ kmk1이 스레드에 대해 이야기하고 있다고 생각합니다. http://stackoverflow.com/questions/43142391/script-action-to-install-spark-job-server-on-hdinsight-head-node. 그것은 당신 것 같습니다. –