PHP не завершает цикл через URL с помощью SimpleHTMLDOM

0

Я пытаюсь использовать SimpleHTMLDom для копирования данных из Интернета, и у меня возникают трудности с выполнением запросов на большое количество страниц.

Я пробовал этот подход с меньшим количеством запросов с большим успехом, но для проекта, который я выполняю, мне нужно делать запросы в Интернете много раз. Фактически, несколько сотен.

Я успешно сделал запросы в Интернете 22 раза, и я не заканчиваю цикл.

Может ли это быть ограничением в PHP, или сам сайт не позволяет много запросов?

Любая помощь или мысли по этому вопросу были бы очень признательны!

<?php
include "simplehtmldom_1_5/simple_html_dom.php";
error_reporting(0);

function scrape() {
   // Create HTML DOM (HTML structure and contents)
   $urls = array();
   $urls[] = "http://www.wunderground.com/cgi-bin/findweather/hdfForecast?query=35203";
   $urls[] = "http://www.wunderground.com/cgi-bin/findweather/hdfForecast?query=35813";
   ... // TWO HUNDRED MORE URLS

   // HTML Formatting

   foreach($urls as $url){
      $html = file_get_html($url);

      // PARSE DOM

      $html->clear();
      unset($html);
   }

   // MORE FORMATTING
}

// Set the user agent to the Mozilla Firefox

$ret = scrape();
?>
Теги:
simple-html-dom

1 ответ

1
Лучший ответ

у него есть ограничение в 30 секунд для выполнения php-кодов. поэтому вам нужно добавить этот код вверху своего php-кода:

set_time_limit(0);
  • 0
    Спасибо вам большое! Это работает сейчас!

Ещё вопросы

Сообщество Overcoder
Наверх
Меню