spark-streaming

0열

1답변

스칼라에서 코드를 쓰는 동안 DStream에 RDD 함수를 적용하는 방법

스칼라에서 간단한 Spark 코드를 작성하려고합니다. 여기 DStream이 나타납니다. 이 DStream을 성공적으로 인쇄 할 수 있습니다. 그러나이 DStream에서 "foreach", "foreachRDD"또는 "transform"함수를 수행하려고 할 때 내 프로그램을 실행하는 동안 콘솔이 멈추고 있습니다. 여기에 어떤 오류도 나타나지 않지만 Eclip

8열

2답변

스파크 스트리밍에서 JSON 구문 분석

나는 불꽃에 아주 새롭고 카프카 항목에서 json으로 구조화 된 DStream을 수신하려고하며 각 json의 내용을 구문 분석하려고합니다. {"type":"position","ident":"IBE32JZ","air_ground":"A","alt":"34000","clock":"1409733420","id":"IBE32JZ-1409715361-ed-0002:

1열

2답변

Spark Streaming with HBase with filtering logic

나는 스파크 스트리밍과 hbase 연결 방법을 이해하려고 노력했지만 성공하지 못했습니다. 내가 뭘하려고하는지 스파크 스트림을 주어진 스트림을 처리하고 hbase 테이블에 결과를 저장합니다. 지금까지 내가 가지고있는 것입니다 : import org.apache.spark.SparkConf import org.apache.spark.streaming.{Sec

1열

3답변

spark-1.0에서 kafka 소비자 구현

spark 1.0 용 spark streaming에서 kafka 소비자를 구현해야합니다. 나는 카프카 제작자를 썼다. 누구든지 카프카에서 메시지를 가져 오기 위해 스파크 수신기를 쓰는 방법에 대해 나를 도울 수 있습니까? 또한 Intellij IDEA에서 kafka spark 스트리밍 프로젝트를 실행하는 방법을 알고 싶습니까?

6열

1답변

스파크 스트리밍 창 작업

다음은 간단한 코드로 30 초의 창 크기와 10 초의 슬라이드 크기에 대해 단어 수를 계산합니다. import org.apache.spark.SparkConf import org.apache.spark.streaming._ import org.apache.spark.streaming.StreamingContext._ import org.apache.s

3열

1답변

맞춤 수신기가 Spark Streaming에서 작업자를 멈 춥니 다.

사용자 정의 수신기로 Spark Streaming Application을 작성하려고합니다. 나는 미리 정의 된 간격으로 무작위 값을 제공함으로써 실시간 입력 데이터를 시뮬레이션해야한다. 다음과 같이 (간체) 수신기가 아래에 따라 스파크 스트리밍 응용 프로그램 코드, 같습니다 class SparkStreamingReceiver extends Actor wit

1열

1답변

이미 스트리밍 된 Spark Streaming 앱 스트림 파일

1 개의 이름 노드와 2 개의 데이터 노드가있는 YARN ec2 클러스터에 스파크 스트리밍 앱이 배포되었습니다. Google은 1 명의 핵심 집행자와 588MB의 RAM을 가진 11 명의 집행자와 함께 앱을 제출합니다. 지속적으로 쓰여지고있는 S3의 디렉토리에서 앱 스트리밍.가 val ssc = new StreamingContext(sparkConf, Se

1열

1답변

Twitter에서 인기있는 태그

나는 apache spark를 처음 사용합니다. 나는 https://github.com/prabeesh/SparkTwitterAnalysis/tree/0.2.0 예제를 실행하려고했지만 콘솔은 나에게 다음과 같은 오류주고있다 : 나는 nc -lk 9999를 사용하여 서버를 시작 WARN scheduler.TaskSchedulerImpl: Initial job

0열

1답변

스파크 스트리밍을 사용하여 실시간 패킷을 처리합니다.

jnetpcap을 사용하여 실시간 패킷을 받았습니다. 누구나 스파크 스트리밍을 사용하여 라이브 패킷에서 패킷 헤더 및 기타 세부 정보를 추출하는 방법을 알려주실 수 있습니까?

3열

1답변

jar의 정적 리소스에 액세스하는 방법 (src/main/resources 폴더에 해당)?

Maven (jar 파일)으로 빌드 된 Spark Streaming 응용 프로그램을 가지고 spark-submit 스크립트로 배포했습니다. 응용 프로그램 프로젝트 레이아웃은 표준 디렉토리 레이아웃 다음과 같다 : -합니다 (resources 폴더에서) aPerlScript.pl - 나는 방법을 가지고있는 DoSomething.scala 객체에서 myApp