Как анализировать результаты JavaScript с помощью Python

Question

Как анализировать результаты JavaScript с помощью Python

0

У меня проблемы с моим скриптом Python. Все, что я хочу сделать, это разобрать элемент div с значением id: value и сохранить все измененные значения. Значение этого элемента генерируется javascript. Это означает, что значение элемента зависит от пользовательского ввода. Чтобы быть более конкретным, элемент html выглядит так:

<div id="value">...Here the frequently changed value generated by javascript...</div>

Мой скрипт python следующий:

from bs4 import BeautifulSoup
import urllib
x=urllib.urlopen("http://example.com")
s = x.read()
soup = BeautifulSoup(s)

m = soup.find("div",{"id":"value"})
val = m.text
print val

Результат - Нет, но на веб-странице изменения очевидны! Пожалуйста, помогите мне разобраться.

Labrosb 18 апр. 2014, в 15:24

Источник

0

Ваш код выглядит хорошо. Вы можете проверить x.getcode() чтобы убедиться, что вы действительно загружаете страницу (она должна возвращать 200).
DzinX 18 апр. 2014, в 13:17

Теги:

javascript

python

html

beautifulsoup

1 ответ

Ещё вопросы

Ваш код выглядит хорошо. Вы можете проверить x.getcode() чтобы убедиться, что вы действительно загружаете страницу (она должна возвращать 200).

alecxe · Answer 1 · 2014-04-18T11-20-00.000Z

Если значение генерируется javascript - самым простым решением будет использование реального браузера для обхода веб-страницы. Это поможет селен. Вот простой пример:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get('http://example.com')

element = browser.find_element_by_id('value')
print element.text

У меня проблемы с установкой модуля селена. Является ли Splinter чем-то похожим на Selenium?
@ ather0s splinter - это просто слой абстракции поверх селена и других библиотек.