이것은 스칼라로 작성된 스칼라 스트리밍 프로그램입니다. 소켓에서 1 초마다 단어 수를 셉니다. 결과는 단어 수, 예를 들어 시간 0에서 1까지의 단어 수, 시간 1에서 2까지의 단어 수입니다. 그러나이 프로그램을 변경할 수있는 방법이 있는지 궁금합니다. 단어 수? 즉, 0부터 지금까지의 단어 수입니다. val sparkConf = new SparkConf(
DStream을 배열, 목록 등으로 변환하고 싶습니다. 그래서 json으로 변환하여 엔드 포인트에서 사용할 수 있습니다. 나는 아파치 스파크를 사용하고, 트위터 데이터를 주입하고있다. 이 작업을 Dstream statuses에서 어떻게 수행합니까? 나는 print() 이외의 다른 것을 얻을 수없는 것 같습니다. import org.apache.spark._
이것은 Spark와 함께 제공되는 예제 코드입니다. 여기에 코드를 복사했는데이 링크는 https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/StatefulNetworkWordCount.scala입니다. 14/07/20 11:5