spark-streaming

0열

1답변

추가 프로세스를 위해 dstream 요소를 ArrayBuffer에 추가하려고합니다.하지만 작동하지 않습니다. var newBatchMeter = new ArrayBuffer[String]() newBatchReadingDstream.foreachRDD(rdd => { for(item <- rdd.collect()) { newBatchM

0열

2답변

pyspark 스트리밍은 기계 학습/과학 컴퓨팅에 적합합니까?

나는 스파크가 생겼고 빠른 푸리에 변환과 svms 등의 분류/회귀와 같은 작업을 수행해야하는 스트리밍 응용 프로그램을 작성해야합니다. 파이썬의 거대한 다양성 때문에 pyspark에서이 작업을 수행하고 싶습니다. numpy, scikit-learn 같은 모듈. 내 질문은, 스트리밍 응용 프로그램에서 그런 것들을 할 수 있습니까? 내가 아는 한, spark

0열

1답변

Spark Streaming의 java.lang.LinkageError

Scala 2.11.8의 CDH 5.10 클러스터에서 Spark 2.2를 사용하고 있습니다. 모든 것이 잘 작동했지만 그때 나는 갑자기 드라이버 코드에서 이것을 얻기 시작했습니다. Exception in thread "main" java.lang.LinkageError: loader constraint violation: when resolving met

0열

1답변

아파치 스파크에서 어떤 단어로 시작하는 여러 hdfs 디렉토리를 삭제하는 방법

나는 파일을 dstream.saveAsObjectFiles("/temObj")을 사용하여 스파크 스트리밍으로 유지했다. hdfs에 여러 파일을 표시한다. temObj-1506338844000 temObj-1506338848000 temObj-1506338852000 temObj-1506338856000 temObj-1506338860000 모두

0열

1답변

filstream을 사용하는 스파크 스트리밍 단어 개수가 결과를 인쇄하지 않습니다.

파일을 스파크 스트리밍으로 사용하고 있습니다. 스트림의 단어 수를 계산하고 싶지만 애플리케이션에서 아무 것도 인쇄하지 않습니다. 내 코드는 여기에 있습니다. 나는 import org.apache.spark.SparkConf import org.apache.spark.streaming._ import org.apache.spark.streaming.Str

0열

1답변

은 spark-scala에서 rdd.contains 함수입니다.

스파크 스트리밍에서 Kafka 스트림으로부터 수 백만의 메시지를 받고 있습니다. 15 가지 유형의 메시지가 있습니다. 메시지는 단일 주제에서 온 것입니다. 메시지의 내용 만 차별화 할 수 있습니다. 그래서 나는 rdd.contains 메서드를 사용하여 다른 유형의 rdd를 얻고있다. 샘플 메시지 { "A" "foo에", "B": "바", "종류": "제".

0열

1답변

Kafka Spark Consumer API Dependancy 관련 문제

Kafka에서 데이터를 수신하기 위해 spark 소비자 API를 만들려고합니다. 그러나 소비자 코드에서이 두 클래스에 jar/dependency를 추가 할 수 없습니다. import org.apache .spark.streaming.scheduler.ReceiverLauncher; import org.apache.spark.streaming.Schedule

0열

1답변

스파크 스트리밍을 사용하는 적색 변속

나는 분당 60,000 개의 이벤트를 처리하고 처리 할 수있는 Kafka - Spark Streaming 응용 프로그램을 보유하고 있습니다. 시각화 레이어를 통해 변환 된 데이터 프레임을 저장하기위한 데이터베이스가 필요합니다. Spark Streaming으로 Redshift를 사용할 수 있습니까? 아니면 Cassandra를 사용해야합니까? 30 초 동안 모

0열

1답변

Apache spark 또는 큰 데이터 도구를 사용하여 기본 키를 기반으로 여러 테이블을 분할하십시오.

csv 파일에 75 개의 전자 상거래 고객 계정 데이터 데이터가 있습니다. 또한 트랜잭션 레코드가 다른 파일에 있습니다. 여기서 계정 번호는 기본 키입니다. 모든 계정의 평균 거래가 500 회입니다. 이제이 데이터를 처리하고 프로모션 코드 제공에 대한 결정을 내리고 싶습니다. 데이터의 양이 매우 많기 때문에 SparkSQL을 사용하기로 결정했습니다. 그러나

1열

1답변

스파크 DirectStream 문제

나는 카프카에서 불꽃 직접 스트림을 만들려고하고 있지만, directStream 객체를 생성하는 동안이 같은 오류가 점점 오전 : kafkaUtils는 HashMap의의 (한 적용되지 않습니다 유형의 방법 createDirectStream 매개 변수). 이 줄에서 : JavaPairInputDStream directKafkaStream = KafkaUtil