Проблема с чисткой кнопок «Далее» на основе JavaScript с питоном

Question

Проблема с чисткой кнопок «Далее» на основе JavaScript с питоном

1

Я пытаюсь очистить веб-сайт, чтобы изучить python и веб-соскабливание. В частности, я пытался очистить данные футбола на этой странице: https://www.whoscored.com/Regions/108/Tournaments/5/Seasons/7468/Stages/16548/PlayerStatistics/Italy-Serie-A-2018- 2019

Моя основная проблема заключается в том, как очистить все страницы основной таблицы данных, а не только первую. Я пытаюсь понять это с помощью селена и анализировать запросы, которые мой браузер отправляет, когда я нажимаю кнопку "Далее", но у меня возникают проблемы. Спасибо за внимание.

Leoo 29 авг. 2018, в 18:53

Источник

0

Почему клик не работает для вас? Нажмите, дождитесь исчезновения наложения, обработайте новую таблицу данных.
DMart 29 авг. 2018, в 18:39
0

Смотрите: как мне сделать X? Предполагается, что пользователь SO, задающий вопрос, не только проводит исследования, чтобы ответить на свой вопрос, но и делится этими исследованиями, попытками кода и результатами. Это свидетельствует о том, что вы потратили время, чтобы попытаться помочь себе, избавляет нас от повторения очевидных ответов и, прежде всего, помогает получить более конкретный и актуальный ответ! Смотрите также: Как спросить
JeffC 29 авг. 2018, в 21:00

Теги:

python

web-scraping

selenium

1 ответ

Ещё вопросы

Почему клик не работает для вас? Нажмите, дождитесь исчезновения наложения, обработайте новую таблицу данных.
Смотрите: как мне сделать X? Предполагается, что пользователь SO, задающий вопрос, не только проводит исследования, чтобы ответить на свой вопрос, но и делится этими исследованиями, попытками кода и результатами. Это свидетельствует о том, что вы потратили время, чтобы попытаться помочь себе, избавляет нас от повторения очевидных ответов и, прежде всего, помогает получить более конкретный и актуальный ответ! Смотрите также: Как спросить

Evyatar Meged · Answer 1 · 2018-08-29T15-38-00.000Z

Используя вкладку сети браузера, нажав кнопку "Далее", вы можете проверить фактический запрос xhr (AJAX), который отправляется на сервер с каждым щелчком мыши. Запрос на этот URL:

https://www.whoscored.com/StatisticsFeed/1/GetPlayerStatistics?category=summary&subcategory=all&statsAccumulationType=0&isCurrent=true&playerId=&teamIds=&matchId=&stageId=16548&tournamentOptions=5&sortBy=Rating&sortAscending=&age=&ageComparisonType=&appearances=&appearancesComparisonType=&field=Overall&nationality=&positionOptions=&timeOfTheGameEnd=&timeOfTheGameStart=&isMinApp=true&page=2&includeZeroValues=&numberOfPlayersToPick=10

Обратите внимание на параметр строки "страница" - это увеличивается с каждым сделанным вами запросом. Кроме того, ответ на каждый запрос на самом деле очень удобен для разбора JSON, поэтому вы очень хороши.

Спасибо Evyatar, еще до того, как я нашел xhr и заметил факт параметра страницы, но я просто не смог разобрать его с помощью python. На самом деле я не могу получить фактическое содержимое JSON, только страницу, содержащую его.
Я попытался настроить селен вебдрайвер и назвал его драйвером. После получения страницы и очистки первой страницы таблицы, я попытался поиграться с: driver.get (ссылка), но не был уверен в этом.