Fi-Ware Bigdata 구성

Question

Fi-Ware를 통해 Bigdata 설치 안내서를 읽습니다.

https://github.com/telefonicaid/fiware-connectors/blob/develop/flume/README.md

내가 susccesfully 완료 "너 그 종속성을 설치"단계까지했습니다. 나는 새로운 Cygnus 버전이 있음을 깨달았습니다 (튜토리얼에서 0.2.1 대신 0.3을 사용했습니다). 종속 설치와 관련된 또 다른 단계를 성취하는 것이 필요한지 알고 싶습니다.

나는 튜토리얼에 다음 단락을 발견

OrionCKANSink 종속성

이 당신이 너에이를 포함하지 않은 경우 당신이 APACHE_FLUME_HOME/plugins.d/니/libext 아래에 설치해야합니다 패키지는 패키지 :

json-simple-1.1.jar 
OrionHDFSSink dependencies 

이 당신이 너 패키지를 포함하지 않은 경우 당신이 APACHE_FLUME_HOME/plugins.d/니/libext 아래에 설치해야합니다 패키지는 다음과 같습니다

,691

또한

httpclient-4.2.1.jar 
httpcore-4.2.2.jar 

, 이미 말했듯이,에 기억

hadoop-core-0.20.0.jar (or higher) 
hive-exec-0.12.0.jar 
hive-jdbc-0.12.0.jar 
hive-metastore-0.12.0.jar 
hive-service-0.12.0.jar 
hive-common-0.12.0.jar 
hive-shims-0.12.0.jar 

이 패키지는 이미 (그들은 단지 정보를 목적으로 나열되어있다)이 수로 번들에 포함되어 있기 때문에 설치 할 필요가 없습니다 이것으로 APACHE_FLUME_HOME/lib 디렉토리/libthrift-0.7.0.jar 패키지를 덮어 : 당신이 OrionMySQLSink를 사용하려는 경우

libthrift-0.9.1.jar 

마지막으로, APACHE_FLUME_HOME/plugins.d/니의 최신 MySQL의 커넥터가 포함되어/libext :

mysql-connector-java-5.1.26-bin.jar 

쉬운 방법으로 cygnus를 설치하고 구성 할 수 있습니까 ?? fi-ware로 Bigdata를 사용하는 것은 어려울 것 같습니다.

당신에게 모든

Answer 1

첫째, 몇 가지 중요한 발언을 감사합니다

• Cygnus은 FI-WARE 빅 데이터 블러 아니라, 관리 실시간 컨텍스트 데이터를 저장을 담당하는 커넥터입니다 역사적인 데이터 세트 생성을위한 몇 개의 영구 저장 장치에서 Orion Context Broker. 이러한 저장소 중 하나는 Big Data 작동 코드 일 수 있지만 MySQL server o CKAN 배포 일 수도 있습니다. 이 응답을 작성하는 순간
• 이, 너에 대한 공식 0.3 릴리즈가 없다, 그것은 6 월 2014 년 말에 기인한다 : https://github.com/telefonicaid/fiware-connectors/issues?milestone=2&state=open

존재는, 백조를 설치하는 것은 매우 간단했다. 기본적으로 Apache Flume을 설치 한 다음 Flume에 대한 추가 클래스를 포함하는 Cygnus jar를 빌드해야합니다.

고니 0.1 개 건물은 일을하는 것만 큼 간단하다 : 같은 버전의 MySQL이나 하이브 테이블 자동 생성에 대한 지원이 없기 때문에 다른

$ cd /path/to/cygnus/folder 
$ /path/to/maven/bin/mvn package 
$ cp target/cygnus-0.1.jar /path/to/flume/lib 

아무 것도 필요하지 않습니다.

너 0.2 및 너 0.2.1 모두 여러 타사 라이브러리를 필요로하지만, README에 설명 된대로 대부분이이 명령을 사용하여 니 클래스 자체로 pacakged됩니다

$ cd /path/to/cygnus/folder 
$ /path/to/maven/bin/mvn clean compile assembly:single 
$ cp target/cygnus-0.2.x-jar-with-dependencies.jar /path/to/flume/plugins.d/cygnus/lib 

Flume libthrift 라이브러리를 업그레이드하고 MySQL 커넥터를 /path/to/flume/plugins.d/cygnus/libext에 복사하면됩니다. README에있는 라이브러리 목록은 문서 목적으로 만 나열되어 있습니다 (여기에 명시된 바와 같습니다).

어쨌든, 우리는 위의 단계를 자동화하는 RPM 생성에 노력하고 있습니다. 그러니 계속 지켜봐!