xml 파일을 avro로 변환하고 싶습니다. 데이터는 xml 형식으로되어 있으며 카프카 항목이 먼저 적용됩니다. 그런 다음 flume 또는 spark-streaming을 사용하여 xml에서 avro로 변환하고 hdfs에 파일을 저장합니다. 나는 cloudera 환경을 가지고있다. avro 파일이 hdfs를 때릴 때 나중에 하이브 테이블로 읽을 수 있어야합니
스파크 스트리밍을 사용하여 특정 간격으로 제로 MQ 대기열에서 데이터를 수신하고이를 풍부하게하여 여기 엔 나무 마루 파일로 저장합니다. 하나의 스트리밍 창에서 다른 스트리밍 창으로 데이터를 비교하고 싶습니다. (나중에 마루 파일을 사용하여 시간을 비교합니다.) 타임 스탬프에서 특정 스트리밍 창을 어떻게 찾을 수 있습니까? 간단히 말해서 JavaStreami
Spark Direct Stream을 사용하여 카프카의 특정 메시지에 대한 오프셋을 가져 와서 저장하려고합니다. Spark 문서를 보면 각 파티션의 범위 오프셋을 쉽게 얻을 수 있지만 필요한 것은 큐의 전체 스캔 후 항목의 각 메시지에 대한 시작 오프셋을 저장하는 것입니다.
저는 Spark 스트리밍 및 스칼라에서 초보자입니다. 프로젝트 요구 사항에 대해 github에 TwitterPopularTags 예제를 실행하려고했습니다. SBT 어셈블리가 저에게 효과적이지 않고 SBT에 익숙하지 않았기 때문에 Maven을 사용하여 빌드하려고합니다. 많은 초기 딸꾹질 후에 jar 파일을 만들 수있었습니다. 하지만 그것을 실행하려고하는 동안
나는 스파크 1.1.0 및 SOLR 4.10.3을 사용하고 있습니다. 스파크 스트리밍 내에서 HttpSolrServer를 사용할 때 예외를 받고 있어요 : java.lang.NoSuchMethodError: org.apache.http.impl.conn.SchemeRegistryFactory.createSystemDefault()Lorg/apache/htt
Hadoop 클러스터에서 HDFS를 사용하고 Yarn-cluster에서 실행되는 체인에서 몇 가지 Spark Streaming 작업을 실행 중입니다 (이전의 출력 폴더에서 입력을 찾고 있음). 방법. job 1 --> reads from folder A outputs to folder A'
job 2 --> reads from folder A'output
콘솔에 둘 이상의 SparkContext를 만들고 싶습니다. mailing list의 게시물에 따르면 SparkConf.set ('spark.driver.allowMultipleContexts', true)를 수행해야하는데 합리적인 것 같지만 작동하지 않습니다. 누구든지이 경험을 할 수 있습니까? 덕분에 많은 : 를 넣고 내가 할 것입니다 및 오류 메시지가
Spark Streaming을 사용하여 로그 파일과 같은 항목을 가져 와서 통계적 이유로 계산을 수행하려고합니다. HBase 및 Hive에서 액세스 할 수있는 HDFS에있는 데이터 세트가 있습니다.이 세트는 IP 및 컴퓨터 이름과 컴퓨터 소유자 간의 매핑과 같은 일부 데이터를 찾아 변환하는 데 필요합니다. 스파크 응용 프로그램은 다시 시작하지 않고도 하루