현재 URL을 방문한 다음 특정 정보를 긁어서 웹 사이트의 데이터를 스크랩하는 스크립트가 있습니다. 저의 유일한 관심사는 약 30,000 페이지가 긁어서 DDoS 공격으로 서버에 나타날 수 있기 때문입니다. 이것의 꼭대기에 루비에 Typhoeus 보석을 사용하여 기본적으로 동시에 모두 완료하는 것이 좋습니다. 그래서이게 괜찮은지 궁금 해서요?내 스크립트가 많은 요청으로 전송됩니까?
DDoS 공격은 단일 시스템에서 수행 할 수 없습니다. DDoS는 Distributed 서비스 거부를 의미하기 때문입니다. 따라서 최악의 경우 페이지 호출을 수행하기 위해 방대한 양의 스레드를 사용하지 않는 한 DoS 공격으로 인식 될 수 있습니다.
봇이 사용하는 단일 스레드는 호스트 당 연결 수가 10 개로 제한되어 있기 때문에 기본 구성된 아파치에는 문제가되지 않습니다. 1 개의 스레드를 사용함으로써 당신은 오직 하나의 호스트에 대한 제한에 도달하지 못하도록 하나의 연결 만 설정합니다. 일반 브라우저는 HTML 파일을 수신 한 후 웹 페이지의 자산을 다운로드하여 기본적으로 더 많은 연결을 설정할 수 있습니다. 요약하면 안됩니다. 웹 서버 관리자가 볼 때 침입자가 아닌 것 같습니다.
indepth 응답을위한 감사합니다! – HarryLucas
귀하의 환영 ... 웹 서버에 대한 D (D) 공격이 SYN-Flood, UDP 증폭 공격, 느린 읽기 공격 (GET), 느린 쓰기 공격 (POST)). – davidb
다시 감사드립니다! – HarryLucas
흠, 해당 웹 사이트의 데이터를 얼마나 자주 "스크랩"하는가에 따라 달라집니다. –
기술적 인면에서 첫 번째 D는 분산을 의미하기 때문에 DDoS 공격이 아닙니다. 이는 요청이 여러 대의 컴퓨터에서 발생했기 때문입니다. 당신은 모두 동일한 호스트에서 왔을 것입니다. 나는 경고를 유발할 가능성이 적을 것이라고 생각합니다. 그러나 요청의 빈도는 문제가 될 수 있습니다. 특히 타이포 우스가 병렬 스레드 (또는 그 밖의 모든 스레드)에서 즉시로드를 전송하는 경우 문제가 될 수 있습니다. 당신은 경보를 발사하는 것에 대해 걱정하고, 대신에 스크립트를 밤새 실행하도록 두는 경우에 발진티푸스를 사용하지 않는 것이 나을 것입니다. –
가끔은 특정 양의 요청 후에 약간의 'sleep'을 추가하면 도움이 될 수 있습니다. –