Beginner Spark Dev tips

Question

Spark을 배우기 시작하고 Windows 바탕 화면에 로컬 클러스터를 설치하고 준비가되면 AWS에 응용 프로그램을 배포하십시오. 사용할 도구에 대한 정보를 얻고 싶습니다. 나는 이클립스를 사용하여 자바로 개발할 것이다. Databricks 또는 Cloudera를 사용하거나 바닐라 스파크를 사용해야합니까? 초급자로서 도움이되는 정보를 찾고 있다면 더 빨리 배울 수 있습니다. 고맙습니다.

Answer 1

"바닐라 스파크"를 다운로드해야한다고 생각합니다. 그런 다음 이클립스에서 Maven 프로젝트를 만든다. Pom 파일에서 올바른 dependencys (Spark Core, Spark SQL, ...)를 추가해야합니다. 그런 다음 항아리를 내 보냅니다. 제출 스크립트를 사용하여 시작할 수 있습니다. Beginning에서 Java 코드를 예제로 실행 해보십시오. 그런 다음 자신 만의 코드를 작성할 수 있습니다.