Я пытаюсь использовать SimpleHTMLDom для копирования данных из Интернета, и у меня возникают трудности с выполнением запросов на большое количество страниц.
Я пробовал этот подход с меньшим количеством запросов с большим успехом, но для проекта, который я выполняю, мне нужно делать запросы в Интернете много раз. Фактически, несколько сотен.
Я успешно сделал запросы в Интернете 22 раза, и я не заканчиваю цикл.
Может ли это быть ограничением в PHP, или сам сайт не позволяет много запросов?
Любая помощь или мысли по этому вопросу были бы очень признательны!
<?php
include "simplehtmldom_1_5/simple_html_dom.php";
error_reporting(0);
function scrape() {
// Create HTML DOM (HTML structure and contents)
$urls = array();
$urls[] = "http://www.wunderground.com/cgi-bin/findweather/hdfForecast?query=35203";
$urls[] = "http://www.wunderground.com/cgi-bin/findweather/hdfForecast?query=35813";
... // TWO HUNDRED MORE URLS
// HTML Formatting
foreach($urls as $url){
$html = file_get_html($url);
// PARSE DOM
$html->clear();
unset($html);
}
// MORE FORMATTING
}
// Set the user agent to the Mozilla Firefox
$ret = scrape();
?>
у него есть ограничение в 30 секунд для выполнения php-кодов. поэтому вам нужно добавить этот код вверху своего php-кода:
set_time_limit(0);