1
나는 한동안 스칼라에서 스파크를 사용 해왔다. 나는 지금 pySpark와 SparkR을 조사 중이다. 나는 PySpark와 SparkR에 대해 언급 된 스트리밍을 보지 못했다. 파이썬과 R을 사용할 때 Spark 스트리밍을 할 수 있다면 누구라도 알 수 있습니까?sparkR에서 스트리밍 하시겠습니까?
A
답변
4
스파크는 이제 1.3에서 pySpark 스트리밍을 지원합니다. SparkR 스트리밍의 구현은 https://github.com/hlin09/spark/tree/SparkR-streaming에서 찾을 수 있습니다.
1
현재 (Spark 1.1 기준) Spark Streaming은 Scala & Java에서만 지원됩니다. 특정 R 프로그램이나 Python 프로그램을 사용하고 싶다면 DStream의 변환 기능과 함께 RDD의 파이프 인터페이스를 살펴볼 수 있습니다. 이것은 조금 어색하지만 현재 Spark Streaming에서 Python이나 R 코드를 사용하는 가장 쉬운 방법입니다.
0
sparkR 스트리밍은 최신 버전의 아파치 스파크 2.1.1
까지 사용할 수 없습니다하지만 우리는 MVN 사용
https://github.com/hlin09/spark/tree/SparkR-streaming
빌드 스파크는 다음을 수행 할 수 있습니다 GitHub의에서 sparkR 스트리밍을 사용할 수 있습니다 sparkR 스트리밍을하십시오.
Spark Streaming에 대한 Python 지원이 곧 추가되어야합니다! 공개 요청이 있습니다 : https://github.com/apache/spark/pull/2538 –