Тайм-аут file_get_contents для конкретного сайта?

Question

Тайм-аут file_get_contents для конкретного сайта?

0

До недавнего времени у меня был автоматический запуск сценария, который идет против Gamestop.com, чтобы собирать названия игр/цены и т.д.

На прошлой неделе, однако, использование file_get_contents кажется тайм-аутом (оно идет намного дольше, чем необходимо, а затем возвращает false). Сначала я подумал, что они блокировали мой IP-адрес сервера, но, проверяя его на своей локальной машине, я получаю тот же результат.

Итак, мой вопрос: есть ли способ проверить, что на самом деле происходит, что вызывает функцию для возврата false? У меня есть подозрительное подозрение, что они могут блокировать запросы с заголовком, который появляется с файлом_get_contents, возможно ли это?

Если кто-то хочет также попробовать код локально для проверки работоспособности, вот очень простой тест:

<?php
     $test = file_get_contents("http://www.gamestop.com")
     echo $test;
?>

Заранее благодарю за любую помощь!

David 22 окт. 2013, в 03:10

Источник

1

используйте библиотеку CUrl для получения данных вместо file_get_contents, тогда вы сможете отслеживать некоторые ошибки или эмулировать настоящий браузер
Iłya Bursov 22 окт. 2013, в 00:26
0

Кстати, опечатка. $test = file_get_contents("http://www.gamestop.com") отсутствует точка с запятой ;-)
Funk Forty Niner 22 окт. 2013, в 00:28
0

Вы настроили allow_url_fopen в вашей среде PHP?
Marc Ripley 22 окт. 2013, в 00:28
0

@Fred - да, это было на самом деле просто дополнительное отступление, когда я копировал и вставлял. Справа от него был какой-то дополнительный закомментированный код.
David 22 окт. 2013, в 00:29
0

@Marc Марк - да. На самом деле код работал более 1 года, поэтому я почти на 100% уверен, что проблема в том, что они изменили на своем сервере в Gamestop.
David 22 окт. 2013, в 00:29
0

@David Дэвид Да, это хорошо. Даже при использовании cURL , он не будет отображать контент.
Funk Forty Niner 22 окт. 2013, в 00:48
0

@Fred - я мог бы представить, что мог бы вручную настроить заголовки так, чтобы они не отображались как PHP, хотя, верно? Теоретически, вы могли бы создать запрос, используя cURL, который выглядит идентично запросу браузера?
David 22 окт. 2013, в 01:14
0

@David Давид Я, например, не знаю, как это сделать, я недостаточно разбираюсь в CURL. Вы можете попробовать это все же.
Funk Forty Niner 22 окт. 2013, в 01:17

Показать ещё 6 комментариев

Теги:

php

html

screen-scraping

file-get-contents

timeout

1 ответ

Ещё вопросы

используйте библиотеку CUrl для получения данных вместо file_get_contents, тогда вы сможете отслеживать некоторые ошибки или эмулировать настоящий браузер
Кстати, опечатка. $test = file_get_contents("http://www.gamestop.com") отсутствует точка с запятой ;-)
Вы настроили allow_url_fopen в вашей среде PHP?
@Fred - да, это было на самом деле просто дополнительное отступление, когда я копировал и вставлял. Справа от него был какой-то дополнительный закомментированный код.
@Marc Марк - да. На самом деле код работал более 1 года, поэтому я почти на 100% уверен, что проблема в том, что они изменили на своем сервере в Gamestop.
@David Дэвид Да, это хорошо. Даже при использовании cURL , он не будет отображать контент.
@Fred - я мог бы представить, что мог бы вручную настроить заголовки так, чтобы они не отображались как PHP, хотя, верно? Теоретически, вы могли бы создать запрос, используя cURL, который выглядит идентично запросу браузера?
@David Давид Я, например, не знаю, как это сделать, я недостаточно разбираюсь в CURL. Вы можете попробовать это все же.

David · Accepted Answer · 2013-10-22T01-10-00.000Z

Это было фактически Gamestop, блокирующее скрипт пользовательским агентом по любой причине....

Решение заключалось в том, чтобы установить пользовательский агент в браузер, тогда все работает нормально.