2017-01-08 2 views
2

노드 - 레드에서 데이터를 보내 HDFS (Hadoop)에 저장하는 메커니즘이 필요합니다. 데이터를 스트리밍하는 것이 좋습니다. 'websocket out'노드를 사용하여 데이터를 쓰고 Flume 에이전트를 사용하여 읽을 생각입니다.node-red에서 Hadoop으로 데이터를 보내려면 어떻게해야합니까?

저는 노드 레드를 처음 사용합니다.

내가 올바른 방향으로 가고 있는지 알 수 있고 내가 그렇지 않은 경우 몇 가지 세부 사항을 명확히 할 수 있습니까? 다른 대안도 괜찮습니다.

업데이트 : 노드 - 레드는 IBM bluemix와 독점적으로 묶여있는 'bluemixhdfs'노드를 제공하지만 바닐라 hadoop 만 사용하고 있습니다.

+0

@hardillb : 나는 질문을 제기했다. 감사. – Marco99

+0

@Bhargav Rao : 내 접근 방식에 대한 구체적인 정보로 질문을 업데이트했습니다. 질문을 지역 사회가 대답하도록하십시오. 감사. – Marco99

+0

@ Marco99, 해당 게시물에 대해 투표가 종료 된 것으로 표시된 질문 (ref : http://stackoverflow.com/posts/41535206/timeline)에 대한 두 개의 다시 검토가있었습니다. 게시물 개선에 대한 귀하의 노력에 감사드립니다. 당신은 * 'websocket out'노드를 사용하여 데이터를 쓰고 Flume 에이전트를 사용하여 *. 읽는 것을 고려하고 포스트에서 코드에 시도를 추가한다고 생각했습니다. 나는 너를 위해 그 포스트를 재개했다. –

답변

1

저는 하둡 전문가가 아니므로 아마 직접 답변을 드릴 수는 없습니다. 그러나 카프카가 웹 소켓을 지원하는 것처럼 보입니다.

아키텍처에 따라 websocket 보안에주의를 기울여야합니다. NR과 Hadoop이 둘 다 사설 보안 네트워크에 있지 않는 한, 웹 소켓은 제대로 보안을 유지하는 것이 까다로울 수 있습니다.

트랜잭션 당 데이터 크기가 너무 크지 않은 한 websocket 성능이 적당하다고 생각합니다 (KB보다는 kb). Node-RED의 성능에 영향을주는 요인이 너무 많아서 필요한 성능을 쉽게 예측할 수 있으므로 테스트를해야합니다.

Node-RED는 많은 유형의 연결을 지원하므로 아키텍처에서 웹 소켓이 작동하지 않으면 유닉스 파이프, TCP 또는 UDP 연결과 같은 많은 것들이 있습니다.