로깅을 위해 log4j를 사용하는 스톰 클러스터를 실행 중입니다. 표준 파일 기반 로깅 외에도 kafka appender를 추가하고 싶습니다. 내의 log4j 설정 파일은 다음과 같습니다 정의가 정확히 파일 펜더에서와 동일 할지라도 log4j.rootLogger=INFO, A1
log4j.appender.A1 = org.apache.log4j.Daily
많은 수의 사용자 트랜잭션을 분석하고 집계 된 측정 값 (예 : 추세 등)을 생성해야하는 시스템을 설계하고 있습니다. 시스템은 빠르고 견고하고 확장 성이 있어야합니다. 시스템은 Java 기반 (Linux)입니다. 사용자 트랜잭션의 로그 파일 (CSV 기반)을 생성하는 시스템에서 데이터가 도착합니다. 시스템은 매분마다 파일을 생성하고 각 파일에는 다른 사용자
나는 폭풍우를 피우고있는 작은 4 노드 클러스터를 구성하고 있습니다. 나는 네트워킹 측면에 대해 몇 가지 질문을합니다. 우선 모든 컴퓨터에는 기가비트 이더넷이 장착되어 있지만 현재 내가 가지고있는 허브는 최대 100 메가 비트입니다. 내 허브를 업그레이드해야합니까? 아니면 성능 향상을 무시할 수 있을까요? 두 번째로 몇 군데 사이트에서 허브가 내 용도로 스
나는 maven에 초보자이며 strom kafka TestTopology spout를 실행하려고 시도하지만 pom 파일은 storm-kafka spout에서 storm-kafka contrib에 제공되지 않습니다. 나는 Lein을 사용했고 그것은 작동하지 않았다. 나는 또한 pom을 lein pom (그리고 그것을 수정하는 것)을 사용하여 스스로 만들려고
Avro RPC 서버에 데이터를 보내는 기존 Avro RPC 클라이언트가 있습니다. Avro RPC 서버는 현재 데이터를 HDFS에 씁니다 (다른 것들도 마찬가지입니다). 스톰을 기반으로 서버 프로세스를 변경하고 있습니다. 스톰에 내 데이터를 가져 오는 쉬운 방법을 찾고 싶습니다. 지금 내가 가진 Avro RPC 메시지를 사용하길 바랍니다. 나는 지금까지
나는이 개 간단한 클래스 매핑 기존 DB가 있습니다. 이것은 단지 모든 File 개체를 쿼리하고 수동으로 File.filedownloads 필드를 필터링하여 파이썬에서 수행,하지만 난이 할 수있는 청소기 방법 (이 작동하지 않습니다 :))이라고 생각 할 수 있습니다 store.find(File, File.filedownloads != None)
store
안녕하세요. 스톰 스트림을 수신하고 MySQL 데이터베이스에 저장하는 기본 스톰 애플리케이션을 설정했습니다. 응용 프로그램이 처음 ~ 23 시간 동안 훌륭하게 작동하면 다음 오류가 발생합니다. SQL Exception
SQL State: 08003
이렇게하면 몇 번 죽게됩니다. 표준 JBDC 커넥터를 사용하여 Java에서 데이터베이스에 연결합니다. p
나는 Storm으로 놀고 있는데 집계 할 때 Storm이 (가능한 경우) 텀블링/슬라이딩 창 크기를 지정하는 곳인지 궁금합니다. 예 : 트위터에서 지난 1 시간 동안의 트렌드 주제를 찾고 싶다면 볼트가 1 시간마다 결과를 반환하도록 지정하려면 어떻게해야합니까? 이것은 각 볼트 안에 프로그래밍 방식으로 수행됩니까? 아니면 "창"을 지정하는 방법입니까?
storm-contrib에서 SimpleMongoBolt를 사용하려고합니다. 소스를 다운로드하고 storm-contrib-mongo 디렉토리에 들어가서 mvn 패키지와 mvn install을 실행했습니다. 모든 것은 잘 작동했으며 IntelliJ는 코딩하는 동안 문제를 해결할 수있었습니다. 그러나 프로젝트를 만들려고 할 때 외부 저장소에서이 라이브러리의 P
.net 분산 맵/축소 프레임 워크를 찾고 있습니다. 실시간 데이터 질의와 여러 노드에서 질의를 병렬 처리하기 위해 이것을 사용하려고합니다. 저는 현재 WCF를 사용하여 웹 계층과 응용 계층 간의 통신을하고 있습니다. 예를 들어, 메모리 데이터가있는 노드가 다섯 개인 경우 5 노드에 필터를 전달하면. 필터는 노드에있는 데이터의 청크에서 실행되고 결과는 최종