Python: получить размер отображаемой веб-страницы

Question

Python: получить размер отображаемой веб-страницы

1

Есть ли способ получить размер отображаемой страницы через HTTP-запрос python?

Я не уверен, что моя формулировка верна, но то, что я подразумеваю под "отображаемой страницей", - это размер, который браузер должен будет загружать (включая изображения, css,...). Не длина html-кода.

В качестве второго приоритета было бы также полезно узнать количество вызовов, и если страница была скопирована, так как это может повлиять на результат калибровки рассматриваемой страницы.

Большое спасибо за вашу помощь !

Benoit Morel 29 июль 2018, в 17:37

Источник

2

Это, безусловно, потребует запуска веб-страницы внутри механизма браузера, поскольку современные веб-страницы часто загружают содержимое динамически из запущенных сценариев. Простой рекурсивный разбор HTML не обрежет его.
jan bernlöhr 29 июль 2018, в 15:15
0

Чтобы на самом деле имитировать все, что вам понадобится поддельный веб-браузер. Возможно, попробуйте selenium (библиотека для автоматизации с браузерами) или попробуйте самостоятельно проанализировать URL-адреса скриптов и URL-адресов таблиц стилей и загрузить их с запросами (библиотека для выполнения http-запросов). , Вы, вероятно, не получите всего, хотя, если вы сделаете это таким образом (веб-страницы сегодня могут быть очень динамичными).
maor10 29 июль 2018, в 15:16
0

Тогда возникает вопрос: пытаетесь ли вы получить размер с целью загрузки на веб-странице, или вы просто пытаетесь получить все элементы, которые доступны в HTML, игнорируя все, что может произойти в Javascript?
Graham 29 июль 2018, в 15:17
0

Читая эти первые ответы, кажется, что я должен следовать предложению @Graham и упростить проблему, игнорируя все асинхронное поведение.
Benoit Morel 29 июль 2018, в 15:31
0

Это не обязательно так сложно, возможно, вы можете использовать Selenium WebDriver + Headless Chrome intoli.com/blog/running-selenium-with-headless-chrome Я сам в этом разбираюсь ...
Jorge Orpinel 05 сен. 2018, в 02:23

Показать ещё 3 комментария

Теги:

python

http

1 ответ

Ещё вопросы

Это, безусловно, потребует запуска веб-страницы внутри механизма браузера, поскольку современные веб-страницы часто загружают содержимое динамически из запущенных сценариев. Простой рекурсивный разбор HTML не обрежет его.
Чтобы на самом деле имитировать все, что вам понадобится поддельный веб-браузер. Возможно, попробуйте selenium (библиотека для автоматизации с браузерами) или попробуйте самостоятельно проанализировать URL-адреса скриптов и URL-адресов таблиц стилей и загрузить их с запросами (библиотека для выполнения http-запросов). , Вы, вероятно, не получите всего, хотя, если вы сделаете это таким образом (веб-страницы сегодня могут быть очень динамичными).
Тогда возникает вопрос: пытаетесь ли вы получить размер с целью загрузки на веб-странице, или вы просто пытаетесь получить все элементы, которые доступны в HTML, игнорируя все, что может произойти в Javascript?
Читая эти первые ответы, кажется, что я должен следовать предложению @Graham и упростить проблему, игнорируя все асинхронное поведение.
Это не обязательно так сложно, возможно, вы можете использовать Selenium WebDriver + Headless Chrome intoli.com/blog/running-selenium-with-headless-chrome Я сам в этом разбираюсь ...

Jorge Orpinel · Accepted Answer · 2018-09-15T10-59-00.000Z

Я написал сценарий Python, который делает это с Selenium и безголовым Chrome Remote WebDriver:

https://github.com/jorgeorpinel/site-page-size-scrapper (Не стесняйтесь клонировать или вилку!)

Хитрость заключается в том, чтобы включить ведение журнала производительности, выборку и анализ журналов сети для расчета полного размера веб-страницы. Что-то вроде этого:

from selenium import webdriver 

options = webdriver.ChromeOptions()
options.add_argument('headless')
capbs = webdriver.DesiredCapabilities.CHROME.copy()
capbs.update({'loggingPrefs': {'performance': 'ALL'}, 'detach': False})
driver = webdriver.Remote("http://127.0.0.1:9515", capbs, options=options)
# ^ Requires chromedriver (server) running locally (on default port).

driver.get('https://www.baidu.com/')
logs = driver.execute('getLog', {'type': 'performance'})['value']
# Now analyze the Network logs as you prefer.

См. Https://chromedevtools.github.io/devtools-protocol/tot/Network