PHP SimpleHTMLDOM을 사용하여 URL을 통해 루프를 마무리하지 못했습니다.

Question

SimpleHTMLDom을 사용하여 웹에서 데이터를 추출하려고하는데 많은 페이지 요청을 처리하는 데 어려움을 겪고 있습니다.

나는이 방법을 적은 수의 요청으로 성공적으로 시도했지만, 현재 진행중인 프로젝트에서 여러 번 웹 요청을해야합니다. 사실, 수백 개.

나는 웹에 22 번 요청을 성공적으로 만들었으며 나는 루프를 끝내지 않을 것이다.

PHP 내에서 제한이 있거나 사이트 자체에서 많은 요청을 허용하지 않을 수 있습니까?

이 문제에 대한 도움이나 생각은 크게 부탁드립니다.

<?php 
include "simplehtmldom_1_5/simple_html_dom.php"; 
error_reporting(0); 

function scrape() { 
    // Create HTML DOM (HTML structure and contents) 
    $urls = array(); 
    $urls[] = "http://www.wunderground.com/cgi-bin/findweather/hdfForecast?query=35203"; 
    $urls[] = "http://www.wunderground.com/cgi-bin/findweather/hdfForecast?query=35813"; 
    ... // TWO HUNDRED MORE URLS 

    // HTML Formatting 

    foreach($urls as $url){ 
     $html = file_get_html($url); 

     // PARSE DOM 

     $html->clear(); 
     unset($html); 
    } 

    // MORE FORMATTING 
} 

// Set the user agent to the Mozilla Firefox 

$ret = scrape(); 
?> 

Answer 1

PHP 코드를 실행하는 데 30 초의 제한이 있습니다. 그래서 당신은 당신의 PHP 코드 상단에이 코드를 추가해야합니다 :

set_time_limit(0);