명령 줄 도구를 사용하여 패킷 흐름 조건 필터링 및 충족

Question

시간 (초), IP 원본 주소, 트래픽 유형 (트래픽 유형) 필드가 세 개인 txt 파일로 축소 된 8 백만 패킷의 pcap 파일이 있습니다.).

이 8 백만 줄의 파일에서 100 패킷 이상인 IP 주소 만 추출하여 100 패킷 이상 기준을 충족하지 못하는 파일을 압축하여 파일 크기를 줄여야합니다.

하지만 각 IP 소스 주소에 대한 패킷 흐름 지속 시간을 계산해야하기 때문에 3 개의 필드를 모두 유지해야하고 줄어든 txt 파일의 나머지 주소 (100 개 이상 패킷)의 흐름에있는 모든 패킷을 유지해야합니다 (종료 흐름의 시작 시간), 흐름 지속 시간이 60 초 이상인 IP 소스 주소 만 유지하면 내 파일이 훨씬 줄어 듭니다.

명령 줄 도구를 사용하여 첫 번째 기준 (100 패킷 이상)을 수행 할 때 해당 주소에 대한 모든 패킷 흐름을 제거합니다. 명령 줄 도구를 사용하여 bash 스크립트를 사용하여 프로세스를 자동화 할 수있는 방법은 무엇입니까? 다음은 두 가지 기준을 적용해야하는 파일의 샘플입니다. 당신의 도움을 주셔서 대단히 감사합니다!

1385957611.118522 99.61.34.145 TCP 1385957859.425248 99.61.34.145 TCP 1385958784.632631 99.61.34.145 TCP 1385959038.972602 99.61.34.145 TCP 1385959481.571627 99.61.34.145 TCP 1385860339.225421 37.139.6.111 TCP 1385860339.238402 37.139.6.111 TCP 1385860339.286538 37.139 .6.111 TCP 1385860339.379029 37.139.6.111 TCP 1385860339.380669 37.139.6.111 TCP 1385860339.425247 37.139.6.111 TCP 1385860339.556737 37.139.6.111 TCP 1385860339.583913 37.139.6.111 TCP 1385860339.623861 37.139.6.111 TCP 1385857840.419300 103.248.63.253 TCP 1385857841.739372 103.248.63.253 TCP 1385857848.593171 103.248.63.253 TCP 1385857850.411457 103.248.63.253 TCP 난 당신이 AWK의 조합을 사용할 수 있습니다 생각

Answer 1

및 이것을 달성하기 위해 xargs. 다음 스크립트는 데이터 파일이 구성되어 있다고 가정 각 타임 스탬프가 이전보다 더 큰 것을 하나 당 라인 기록 등 : IP 주소가 100 개 + 레코드가있는

awk '{ 
    line = $0; 
    addr = $2; 
    addrcount[addr]++; 
} 
END { 
    for (addr in addrcount) { 
     if (addrcount[addr] >= 100) { 
      print addr; 
     } 
    } 
}' [DATA_FILE] | xargs -P [MAXPROCS] -I 'IP_ADDR' awk '{ if ($2 == "IP_ADDR") { print $0 } }' [DATA_FILE] | awk '{ 
    timestamp = $1 
    addr = $2; 
    traffictype = $3; 
    if (!(addr in minfor)) { 
     minfor[addr] = timestamp; 
    } 
    maxfor[addr] = timestamp; 
    typefor[addr] = traffictype; 
} 
END { 
    for (addr in minfor) { 
     print addr, minfor[addr], maxfor[addr], maxfor[addr] - minfor[addr], typefor[addr] 
    } 
}' | awk '{ if ($4 >= 60) { print $1, $5} }' 

첫 번째 AWK 비트 파악 한 줄에 하나씩 주소를 인쇄합니다. 이 파일은 xargs에 파이프되어 다른 awk 스크립트를 실행합니다.이 스크립트는 파일에서 해당 IP 주소를 가진 행만 인쇄합니다. 이렇게하면 100 개 이상의 패킷을 필터링하려고 할 때 컨텍스트가 손실되지 않습니다. 두 번째 - 마지막 awk 스크립트는 필터링 된 데이터의 각 행을 통과하여 최소 시간 소인과 최대 시간 소인을 기록한 다음 차이점을 인쇄합니다. 또한 트래픽 유형을 기록합니다. 최종 awk 스크립트는 시간 델타가 60 이상인 IP 주소 만 IP 주소 및 트래픽 유형을 인쇄하도록 데이터를 필터링합니다.