spark-streaming

0열

1답변

원사에 스파크 채용 | 성능 튜닝 및 최적화

얀 기반 클러스터에 배포 된 스파크 작업을 최적화하는 가장 좋은 방법은 무엇입니까? . 코드 수준이 아닌 구성에 따라 변경 사항을 찾고 있습니다. 내 질문은 Spark Streaming 또는 Spark SQL에서 개발 된 작업을 최적화하기 위해 어떤 접근 방식을 사용해야하는지, 고전적으로 디자인 수준의 질문입니다.

hadoop apache-spark apache-spark-sql spark-streaming 2017-11-11

---

0열

2답변

RDD에서 DataFrame to CSV로 스트림

정말 필사적입니다. 내가하려는 것은 몇 초 동안 스트림을 캡처하고 스트림 데이터를 수집 한 다음 CSV 파일로 저장하는 것입니다. val sparkSession : SparkSession = SparkSession.builder() .master("local[*]") .appName("Streaming") .config(conf)

scala apache-spark spark-streaming 2017-11-12

---

3열

2답변

Spark Structured Streaming으로 작성시 카프카 오프셋 캡처

Spark 2.2에서 Spark Structured 스트리밍을 사용하여 HDFS 디렉토리에서 Kafka 토픽으로 파일을 스트리밍합니다. 내가 주제에 쓰고있는 데이터에 대한 카프카 오프셋을 포착하고 싶습니다. 나는 카프카에 쓰려면 val write = jsonDF .writeStream.format("kafka") .option("checkpointLoc

apache-spark apache-kafka spark-streaming 2017-11-13

---

0열

1답변

Spark에서 ElasticSearch의 스크립트 문서를 업데이트하는 방법은 무엇입니까? 문서가 이미 존재하는 경우

나는 카프카 스트림에서와 Elasticsearch 문서 upsert 읽고 파이썬에서 의사가 (카운터 view를 증가. for message in consumer: msg = json.loads(message.value) print(msg) index = INDEX_NAME es_id = msg["id"] scr

python scala elasticsearch spark-streaming structured-streaming 2017-11-15

---

0열

2답변

스칼라 매니페스트를 찾을 수 없습니다. Spark Streaming

Spark Streaming을 (를) 처음 사용했습니다. Spark Streaming에서 KafkaUtils를 사용하여 Kafka로가는 직접 스트림을 만들었습니다. 같은 나는 java.lang.NoClassDefFoundError: scala/reflect/ClassManifest 전체 스택이 여기 그것은 오류 아래 던지고 작업을 실행하려고 할 때 jssc

java maven spark-streaming kafka-consumer-api 2017-11-15

---

0열

1답변

Apache Kafka의 Streams API와 Spark Streaming

스파크 스트리밍 및 Kafka 스트림의 처리량을 비교하고 있습니다. 나의 결과에 따르면 카프카 스트림은 스파크 스트리밍보다 처리량이 높습니다. 이 올바른지? 그 반대편에 있어야하지 않습니까? 감사

spark-streaming apache-kafka-streams 2017-11-16

---

1열

1답변

사용 스파크 스트리밍

def main(args: Array[String]) { val sparkConf = new SparkConf().setMaster("local[2]").setAppName("kafka-spark-demo") val scc = new StreamingContext(sparkConf, Duration(5000)) val topics

hdfs spark-streaming 2017-11-17

---

0열

1답변

[SparkStreaming] 카프카 ConsumerRecord가 직렬화되지 않습니다

내 설정은 val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "xxxxx", "key.deserializer" -> classOf[StringDeserializer], "value.deserializer" -> classOf[StringDeserializer],

apache-kafka spark-streaming 2017-11-17

---

0열

1답변

스파크 스트리밍을 사용하여 카프카 소비자 생성

나는 카프카를 시작하여 주제와 제작자를 만들었습니다. 이제 해당 제작자가 보낸 메시지를 읽고 싶습니다. 내 코드 def main(args: Array[String]){ val sparkConf = new SparkConf() val spark = new SparkContext(sparkConf) val streamingConte

scala apache-spark apache-kafka spark-streaming 2017-11-17

---

-1열

1답변

스파크 스트리밍 : 대기열로 매핑 지점

스트리밍을 시작하기에 새롭고 맵 작동 방식을 이해할 수 없습니다. 나는 내가 쓴 그래서 생성자에서 통과 후 스트림에서 몇 가지 포인트를 대기열 할 수 있습니다 : val data = inp.flatMap(_.split(",")) val points = data.map(_.toDouble) val queue: Queue[Point] = new Queue[

scala apache-spark spark-streaming 2017-11-18

---