Apache Ambari를 사용하여 4 노드에 Apache Hadoop을 설치했습니다. 그리고 Apache Flink로 간단한 작업을했습니다. 이 작업을 내 YARN 클러스터에 제출하고 싶습니다. 그러나 Flink는 로컬 컴퓨터 (core-site.xml, yarn-site.xml 등)에서 구성 파일을 Yar해야합니다. 내가 misunterstand하지 않는 경우에 따라서,이 마누엘 방법 ResourceManager에 노드플린 크 작업을 원격 YARN 클러스터에 제출하는 방법?
나는 두 가지 방법이별로 좋지 않다고 생각합니다. 원격 YARN 클러스터에 내 작업을 어떻게 제출할 수 있습니까? 거기에 적당한 방법이 있습니까?
필자는 플린 크가 플린 크 자체보다 우연히 귀하의 원 클라이언트를 시작하는 것이 더 중요하다고 생각합니다.
플린 크에 대해 거의 알지 못하지만 원 포인트에서 스파크에 관한 지식을 얻었습니다. 필자는 플 링크 응용 프로그램을 시작하기 위해 컴퓨터에 설정 파일을 다운로드 할 수 있다고 말할 수 있습니다. YARN 클러스터의 가장자리 컴퓨터를 응용 프로그램을 배포 할 컴퓨터로 사용할 수도 있습니다.
YARN에 응용 프로그램을 배포하는 방법에 대한 질문이 많습니다.
Hadoop/YARN 환경에서는 항상 클라이언트 컴퓨터에 구성 파일이 필요합니다. 따라서 로컬로 가져와야합니다. 그러나, 당신은 보통 그들 중 일부가 필요하고 전부는 아닙니다. 대부분의 경우 hdfs-site.xml, core-site.xml 및 yarn-site.xml을 가지고 있으면 충분합니다. 안전한쪽에 있으려면 로컬 디렉토리에 모든 파일을 복사하십시오.
그런 다음 컴퓨터의 flink-conf.yaml 파일에서 다음 매개 변수를 구성하여 클라이언트 역할을 수행하게됩니다. 당신은 당신의 직업을 시작할 것입니다.
fs.hdfs.hadoopconf: path_to_hadoop_conf_dir
그럼 당신은 작업 관리자로 실 마스터를 사용하도록 FLINK 도구를 말하여 원사 작업을 시작할 수 있어야합니다. 당신이 당신의 FLINK-conf.yaml 위의 메모리 매개 변수를 구성한 경우
flink run -m yarn-cluster -yn <num_task_managers> -yjm <job_manager_memory> -ytm <task_manager_memory -c <main_class> <jar>
,으로 모든 자세한 매개 변수
flink run -m yarn-cluster -n <num_task_managers> -c <main_class> <jar>
를 생략하여 기본 값으로 작업을 시작할 수 있어야한다 빠른 테스트에서는 YARN에서 스칼라 셸을 시작할 수 있습니다.
start-scala-shell.sh yarn -n <num_task_managers> -nm test_job