Скручивание Google не работает в производстве

Question

Скручивание Google не работает в производстве

0

Я работаю над небольшим проектом с Curl и PHP, чтобы очистить результаты Google Scholar. Он отлично работает в моем режиме разработки, но когда я пытаюсь в производственном режиме, что-то не работает, и результата нет...

Вот мой код:

// SCRAPING GOOGLE SCHOLAR
    if (isset($_POST['google'])){
        $googleURL = 'http://scholar.google.com/scholar?hl=fr&q=' . $url_subject;

        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $googleURL);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
        curl_setopt($ch, CURLOPT_USERAGENT, $random->random_user_agent());
        $result = curl_exec ($ch);
        curl_close($ch);

        $html = $this->container->get('simple_html_dom');
        $html->load($result);

спасибо за помощь

AlphaNico 01 фев. 2015, в 13:28

Источник

0

проверьте файлы журнала на наличие ошибок. curl не может быть установлен
Nitsan Baleli 01 фев. 2015, в 12:15
0

Дело не в том, что в лог-файл ничего не входит в Curl
AlphaNico 01 фев. 2015, в 12:44
0

Возможно, эта проблема вызвана open_basedir опцией safe_mode или open_basedir . Смотрите здесь для деталей
hindmost 01 фев. 2015, в 18:46
0

Спасибо, но, может быть, это из-за того, что Google Scholar обнаруживает URL моего сервера?
AlphaNico 02 фев. 2015, в 20:07

Показать ещё 2 комментария

Теги:

php

curl

1 ответ

Ещё вопросы

проверьте файлы журнала на наличие ошибок. curl не может быть установлен
Дело не в том, что в лог-файл ничего не входит в Curl
Возможно, эта проблема вызвана open_basedir опцией safe_mode или open_basedir . Смотрите здесь для деталей
Спасибо, но, может быть, это из-за того, что Google Scholar обнаруживает URL моего сервера?

Steve · Answer 1 · 2016-10-06T17-39-00.000Z

Google Scholar нахмурился, соскребая их содержимое. Это противоречит их условиям обслуживания. Скручивание командной строки полезно для устранения таких проблем:

$ curl -vv https://scholar.google.com/scholar?hl=en&q=neurotransmitters
> GET /scholar?hl=en HTTP/1.1
> User-Agent: curl/7.35.0
> Host: scholar.google.com
> Accept: */*
> 
< HTTP/1.1 403 Forbidden
...
<html>...<title>Sorry...</title></head><body>
<h1>We're sorry...</h1>
<p>... but your computer or network may be sending automated queries.
To protect our users, we can't process your request right now.</p>
<div style="margin-left: 4em;">See
<a href="https://support.google.com/websearch/answer/86640">Google Help</a>
for more information.</div>
</body></html>