Очистить данные не видны в исходном файле Python

Question

Очистить данные не видны в исходном файле Python

1

Я хочу очистить данные на веб-сайте https://www.climatechangecommunication.org/climate-change-opinion-map/. Я немного знаком с селеном. Но нужные мне данные, находящиеся под картой, и подсказка на карте не видны в исходном файле. Я прочитал несколько сообщений об использовании PhantomJS и других. Однако я не уверен, где и как начать. Может кто-то, пожалуйста, помогите мне начать.

Спасибо, Rexon

Rexon 13 июль 2018, в 05:33

Источник

0

Не уверены, что вы имеете в виду под «картой», что конкретно? Что касается всплывающей подсказки, которая появляется при наведении курсора. Данные, которые заполняют всплывающую подсказку, вероятно, находятся в исходном файле в другом формате.
Cole 13 июль 2018, в 02:52
0

Все горизонтальные полосы под картой с процентами
Rexon 13 июль 2018, в 03:00
0

Вместо того, чтобы очищать это, почему бы не загрузить это непосредственно? Я заметил, что ссылка внизу страницы, которую вы указали, относится к карте Йельского климатического мнения. Погуглил и придумал страницу, где можно скачать данные
Breaks Software 13 июль 2018, в 11:30

Показать ещё 1 комментарий

Теги:

python

selenium

phantomjs

1 ответ

Ещё вопросы

Не уверены, что вы имеете в виду под «картой», что конкретно? Что касается всплывающей подсказки, которая появляется при наведении курсора. Данные, которые заполняют всплывающую подсказку, вероятно, находятся в исходном файле в другом формате.
Все горизонтальные полосы под картой с процентами
Вместо того, чтобы очищать это, почему бы не загрузить это непосредственно? Я заметил, что ссылка внизу страницы, которую вы указали, относится к карте Йельского климатического мнения. Погуглил и придумал страницу, где можно скачать данные

Andrei Suvorkov · Accepted Answer · 2018-07-13T02-46-00.000Z

Вы можете использовать этот пример кода:

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://www.climatechangecommunication.org/climate-change-opinion-map/")

# switch to iframe
WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.XPATH, "//iframe[@src = 'https://environment.yale.edu/ycom/factsheets/MapPage/2017Rev/?est=happening&type=value&geo=county']")))

# do your stuff
united_states = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, "//*[@id='document']/div[4]//*[name()='svg']")))
print(united_states.text)

# switch back to default content
driver.switch_to.default_content()

Выход:

50%
No
12%
Yes
70%
United States

Снимок экрана с элемента:

Объяснение: во- первых, чтобы иметь возможность взаимодействовать с элементами под картой, вы должны переключиться на контент iframe, иначе невозможно взаимодействовать с этими элементами. Затем данные под картой находятся в svg тегах, которые также не являются тривиальными. Чтобы иметь возможность сделать это, вы предоставили образец.

PS: Я использовал WebDriverWait в своем коде. С помощью WebDriverWait ваш код становится более быстрым и стабильным, так как Selenium ждет особых условий, таких как visibility или clickable определенного элемента. В образце кода драйвер ждет не менее 10 секунд, пока ожидаемое условие не будет выполнено.

Не могли бы вы узнать, как я могу получить доступ к исходному коду внутри iframe. Я хочу передать штаты и округа в выпадающих меню. Я могу получить список всех штатов и округов, но когда я использую click (), ничего не происходит. Заранее спасибо.
Вы можете создать новый вопрос с деталями и отправить ссылку на него мне. Я постараюсь помочь тебе