Java : 내 애플리케이션의 모든주기마다 새로운 IP를 요청하는 방법

Question

나는 지정된 웹 사이트의 웹 페이지 목록을 구문 분석하고 JSoup로 콘텐츠를 추출하는 애플리케이션을 코딩했습니다.
문제는 내 IP를 사용하면 하루 3 시간 동안 동일한 도메인의 내 목록에서 최대 3 개의 특정 페이지를 요청할 수 있습니다. 시도하는 모든 요청이 나와 요청하는 페이지로 리디렉션됩니다. 다음날 3 일 더 요청합니다.
내가하려는 것은 응용 프로그램이 3 번의 요청마다 내 IP를 변경하도록하는 것입니다.

나는 SilverTunnel과 JTor를 이미 테스트했는데 (매 요청마다 3 번 요청에 새로운 idendity-IP를 요청할 수 있음), 그 libs는 문서화가 잘되어 있지 않고, 매번 N 번씩 내 신원을 어떻게 바꿀 수 있는지에 대한 예제가 거의 없다. 사이클).

내 애플리케이션이 내 애플리케이션을 내 IP로 변경하거나 마스크 처리하거나 특정 IPV6을 사용하도록 요청하고 내 ISP에게 새로운 애플리케이션을 사용하고 릴리스하는 방법을 알고 있는지 묻습니다.

누구든지 그 문제에 대한 해결책을 알고 있습니까? 아니면 비슷한 것을 테스트합니까?

감사합니다.

Answer 1

이 사용 사례를위한 최상의 솔루션은 웹 사이트에 수행하는 작업에 대한 권한을 요청하는 것입니다. 그러면 HTML을 사용하는 것보다 훨씬 더 효율적인 방법으로 재미있는 데이터를 가져올 수있는 내부 API로 사용자를 안내하거나 더 잘 알려줍니다.

[편집] 나는 (법적) 기술적 인 해결책에 대해 들어 보지 못했습니다. 범죄자는 수천 개의 해킹 된 컴퓨터로 거대한 봇넷을 사용하지만 이와 같은 상황을 피하는 것이 좋습니다.

나는 또한 하루에 세 번만 다운로드 할 수있는 페이지를 아직 만난 적이 없습니다. 이 심각한 제한은 사람들이 실제로 자신의 데이터에 사로 잡히다는 것을 말해줍니다. 그들의 방위를 우회하는 것은 어려움에 처하게 할 수 있습니다 (아무리 어리석은 사람이라도). 본인과 미국인이 미국에 거주하는 경우 CFAA을 위반하여 고소 할 준비를하십시오. This has happened before for lesser reasons.

이제 몇 가지 기술적 인 세부 사항. 인터넷에 어떻게 연결되는지는 말하지 않습니다. DHCP를 통해 IP를 수신 한 경우 ISP에 다른 주소를 제공해야합니다. 이것은 그들의 측면에서 수동 프로세스가 될 것이므로 자신의 편에서 열정을 찾기 위해 준비하십시오.

Onion routing은 매번 다른 종료 노드를 사용하여 요청을 내야하기 때문에 Tor는 좋은 해결책입니다. 그러나 비교적 적은 수의 종료 노드 만 있기 때문에 비교적 짧은 시간이 지난 후에는 각 노드를 세 번 시도 할 가능성이 있습니다 (다른 사용자가 귀하와 동일한 서비스에 연결하면 더 심해집니다).

[EDIT2] 가능한 해결책 중 하나는 ISP가되어 공식적으로 IP 주소 블록을 구입하는 것일 수 있습니다 (일반적인 ISP와 동일).

IPv6 블록은 그다지 비싸지 만, 서비스가 IPv4에서만 작동하면 아무데도 못 들도록주의하십시오! 그렇다면 당신과 서비스 사이에 IPv6-to-IPv4 브리지가있을 것이고 항상 같은 주소를 사용한다고 생각할 것입니다.

현재 IPv4 주소를 구매하려는 시도는 probably hopeless입니다 (많은 돈을 쓰고 싶다면 블록을 얻을 수 있습니다).