2016-11-24 8 views
0

사용자가 기계 학습 프레임 워크/반복 횟수/기타 튜닝 매개 변수를 선택할 수있는 웹 응용 프로그램을 개발했습니다. 모든 입력을 전달하고 응답을 사용자에게 표시하여 사용자 인터페이스에서 Spark 작업을 호출하려면 어떻게해야합니까? 프레임 워크 (dl4j/spark mllib/H2o)에 따라 사용자는 입력 csv를 업로드하거나 데이터를 Cassandra에서 읽을 수 있습니다.웹 응용 프로그램에서 디자인 모델을 학습하는 Spark Machine

  1. 어떻게 사용자 인터페이스에서 SPARK 작업을 호출 할 수 있습니까?
  2. 결과를 사용자에게 다시 표시하려면 어떻게해야합니까?

도와주세요.

답변

1

당신은 그것이 카산드라에서 데이터를 받아 다음 데이터를 수집하고 그것을 다시 던져 어떻게 수행되고하는 즉시 GET 요청이 도착 될 때입니다이이 github repository.

좀 걸릴 수 있습니다 응답. 당신이 할 수있는 것은

, 바로 당신이 POST 요청을받을, 당신이 요청의 매개 변수를 얻을하고 그에 따라 이러한 매개 변수를 사용하여 작업을 수행하여 수집 할 수 있습니다 : 귀하의 경우 그래서

마스터에 대한 결과를 얻은 다음 응답으로 사용자에게 다시 던집니다.

피씨 : 마스터에서 수집하는 것은 약간 까다 롭고 많은 데이터로 인해 OOM이 발생할 수 있습니다. 할 수있는 일은 결과를 hadoop에 저장하고 URL을 결과 나 그와 비슷한 것으로 되돌려 보내는 것입니다. 더 많은 정보를 들어

이 github에 관련이 블로그를 들여다 : https://blog.knoldus.com/2016/10/12/cassandra-with-spark/

+0

나는 SPRAK 및 AKKA에 새로운 오전. 프로젝트를 다운로드하여 로컬 컴퓨터에서 성공적으로 실행했습니다. 원사에서 동일한 응용 프로그램을 실행할 수 있습니까? 프로덕션 환경에서 사용할 수 있습니까? – lalithark

+0

프로덕션 레벨 코드가 아닙니다! 유스 케이스에 따라 변경할 수 있습니다! –

+0

코드를 원사 모드로 실행하려면 어떻게해야합니까? 원사 모드에서 AKKA 레스트를 사용할 수 없습니까? – lalithark