веб-код Python не будет открывать ссылки

Question

веб-код Python не будет открывать ссылки

1

Это из книги "автоматизировать скучный материал с помощью python". Сначала я создал файл.bat и запускал его с аргументами из cmd, не открывал никаких страниц в хроме, искал здесь, менял код, все равно он отлично выполняет и печатает строку печати, но он не открывает вкладки, как это должно быть, Что я делаю неправильно? заранее спасибо

#! python3
# lucky.py opens several google search matches

import requests,sys,webbrowser,bs4
searchTerm1 = 'python'
print('Googling...')
res = requests.get('https://www.google.com/search?={0}'.format(searchTerm1))
res.raise_for_status()

#retrieve top search result links
soup = bs4.BeautifulSoup(res.text,"html.parser")

#open a browser tab for each result.
linkElems = soup.select('.r a')
numOpen = min(5,len(linkElems))
for i in range(numOpen):
    webbrowser.open('http://google.com' + linkElems[i].get('href'))

BorkoP 19 июль 2018, в 21:37

Источник

0

Попробуйте напечатать res.text . Google, вероятно, блокирует ваши запросы, так как обнаруживает, что вы не заходите из браузера.
Rishav 19 июль 2018, в 18:47
0

Он отвечает 302, не то чтобы он был заблокирован полностью. Вы можете получать результаты поиска Google программно и без использования браузера, хотя вы должны делать это соответствующим образом.
waymobetta 19 июль 2018, в 18:55
0

Запрос неправильный - попробуйте в вашем браузере. Вам просто нужен google.com/search?q= {0}. Обратите внимание на «д» там - это то, что вам не хватает. Ваша программа работает нормально, когда вы добавляете «q». Смотрите мой ответ ниже.
Mark 21 июль 2018, в 18:32

Показать ещё 1 комментарий

Теги:

python

web-scraping

beautifulsoup

2 ответа

0

Короче говоря, webbrowser не открывает никаких страниц, потому что numOpen равно 0, поэтому цикл for пытается перебрать более 0 элементов, что приводит к тому, что код внутри цикла для цикла (webbrowser.open) не будет выполнен.

Более длинное и подробное объяснение того, почему numOpen = 0 связано с перенаправлением, которое происходит с первоначальным запросом GET, с учетом вашего пользовательского запроса Google. См. Этот ответ о том, как обойти эти проблемы, так как существует множество ways-, наиболее простым из которых является использование API поиска Google.

В результате перенаправления ваш поиск BeautifulSoup не вернет никаких успешных результатов, в результате чего переменная numOpen будет установлена в 0, так как не будет элементов списка. Поскольку элементов списка нет, цикл for не выполняется.

Вы можете отлаживать такие вещи самостоятельно, быстро и грязно, но не идеально, просто добавляя инструкции печати во всем скрипте, чтобы увидеть, какие инструкции печати не выполняются, а также посмотрите на переменные и их возвращаемые значения.

В стороне, shebag также должен быть установлен в #!/usr/bin/env python3 а не просто #! python3 #! python3. Ссылка здесь.

Надеюсь это поможет

waymobetta 19 июль 2018, в 16:17

2

И почему numOpen 0?
Rishav 19 июль 2018, в 18:48
0

Спасибо за быстрый ответ! Во всяком случае, я попытался напечатать linkElems и он пуст, так что что-то там не так, я просто не уверен, что? когда я печатал res.text, он печатал много информации, и я уверен, что он должен был что-то оттуда извлечь.
BorkoP 19 июль 2018, в 19:04
0

Все это происходит от перенаправления, которое происходит с начальным запросом GET. Когда он пытается извлечь элементы, не найдено ни одного элемента, который бы точно соответствовал тому, что он ищет, из-за начального перенаправления, поэтому переменная numOpen установлена в 0. Поэтому цикл for не выполняется. Возможно, я мог бы добавить это более подробное объяснение в исходный ответ. Я просто пытался ответить на вопрос на высоком уровне о том, почему это не работает из коробки. Я могу редактировать свой оригинальный пост.
waymobetta 19 июль 2018, в 19:06

Показать ещё 1 комментарий

Ещё вопросы

Попробуйте напечатать res.text . Google, вероятно, блокирует ваши запросы, так как обнаруживает, что вы не заходите из браузера.
Он отвечает 302, не то чтобы он был заблокирован полностью. Вы можете получать результаты поиска Google программно и без использования браузера, хотя вы должны делать это соответствующим образом.
Запрос неправильный - попробуйте в вашем браузере. Вам просто нужен google.com/search?q= {0}. Обратите внимание на «д» там - это то, что вам не хватает. Ваша программа работает нормально, когда вы добавляете «q». Смотрите мой ответ ниже.
Спасибо за быстрый ответ! Во всяком случае, я попытался напечатать linkElems и он пуст, так что что-то там не так, я просто не уверен, что? когда я печатал res.text, он печатал много информации, и я уверен, что он должен был что-то оттуда извлечь.
Все это происходит от перенаправления, которое происходит с начальным запросом GET. Когда он пытается извлечь элементы, не найдено ни одного элемента, который бы точно соответствовал тому, что он ищет, из-за начального перенаправления, поэтому переменная numOpen установлена в 0. Поэтому цикл for не выполняется. Возможно, я мог бы добавить это более подробное объяснение в исходный ответ. Я просто пытался ответить на вопрос на высоком уровне о том, почему это не работает из коробки. Я могу редактировать свой оригинальный пост.

Mark · Accepted Answer · 2018-07-19T16-44-00.000Z

Короткий ответ заключается в том, что ваш URL-адрес не возвращает результаты. Здесь URL-адрес, который предоставляет результаты: https://www.google.com/search?q=python.

Я изменил одну строку в вашем коде, чтобы использовать этот шаблон: " https://www.google.com/search?q= {0}, и я видел, что linkElems был нетривиальным.