내 목표는 클러스터에서 Hadoop과 관련이없는 네트워크 트래픽을 생성하는 다른 서비스가 있기 때문에 Hadoop 클러스터와 관련된 네트워크 패킷을 식별하는 것입니다.
내 Hadoop 클러스터가 HBase, 돼지, 하이브 (Hive) 등과 같은 HDFS 및 MapReduce를 고유하게 사용한다고 가정합니다.
Hadoop 패킷을 필터링 할 수있는 방법이 있습니까? 예를 들어, 하둡은 수정 소스 또는 대상 포트 (적어도 하나의 소스 또는 destionation)
네트워크 트래픽 스니핑시 Hadoop 패킷을 필터링하는 방법이 있습니까?
UPDATE를 사용하는 경우 : 내가 패킷
잘 모르겠어요 냄새 아파치 하둡 1.0.3과의 libpcap을 사용하고 있습니다 어떤 Hadoop 배포판을 사용하는지, 어떤 패킷 스니퍼 (sniffer)를 사용하는지 알고 싶지만, 여기서 몇 가지 다른 접근법을 취할 수 있어야합니다.
Hadoop 서비스의 기본 포트를 사용한다고 가정하면 NameTable/TaskTracker뿐만 아니라 NameNode 및 DataNode 트래픽의 대상 포트를 키로 입력 할 수 있어야합니다. This link은 Cloudera에 의해 발행되었지만, Hortonworks 또는 다른 Apache Hadoop 배포판과 동일한 기본 포트를 사용하므로 정보는 사용 사례에 적용되어야합니다.
또한, Wireshark은이 상자 밖으로 처리 할 수있는 유형 중 하나가 될해야 의미 HDFS 프로토콜 dissector을 가지고 나타납니다. 네트워크 패킷 분석기로서 Wireshark에 익숙하지 않다면, 체크 아웃하시기 바랍니다.
희망이 있습니다. - 행운을 빕니다!
그러면 Hadoop 노드 간의 모든 네트워크 연결의 모든 대상 포트를 알 수 있습니다. 결과적으로 알려진 대상 포트별로 Hadoop 패킷을 필터링 할 수 있습니다. – tremendows