HTML-форма Scrap на Python

Question

HTML-форма Scrap на Python

0

Поэтому я пытался отказаться от веб-сайта. Когда я откажусь от него, выясняется, что результат не такой, как при попытке щелкнуть правой кнопкой мыши и просмотреть источник страницы на mozzila или google chrome.

Код, который я использовал: (пример)

import urllib

page = urllib.urlopen("http://www.google.com/search?q=python") 
#or any other website that uses search
python = page.read()
print python

Оказывается, что код берет только "сырой" веб-сайт, которого я не хотел. Для таких веб-сайтов, я хочу, чтобы код после javascript и т.д. Работал. Чтобы результат был таким же, как и вы, щелкнул правой кнопкой мыши и просмотрел исходный код из вашего браузера. Есть ли другой способ сделать это?

Vija02 17 дек. 2013, в 13:51

Источник

0

Либо посмотрите на автоматизацию браузера, используя что-то вроде Selenium, либо «безголовый просмотр»
Jon Clements♦ 17 дек. 2013, в 14:31

Теги:

python

html

web-scraping

1 ответ

Ещё вопросы

Либо посмотрите на автоматизацию браузера, используя что-то вроде Selenium, либо «безголовый просмотр»

Salyangoz · Answer 1 · 2013-12-17T10-04-00.000Z

его не совсем сырая страница, так как это страница с ошибкой от google к вам: в части print python она написана в верхней части сообщения:

У вашего клиента нет разрешения на получение URL /search?q=python с этого сервера.

если вы изменили переменную page на

page = urllib.urlopen("http://volt.al/")

вы увидите javascript.

попробуйте на разных страницах, чтобы увидеть, что вам нравится