Как скрести все элементы из таблицы на веб-странице?

1

Я играю с кодом ниже. Я просто пытаюсь получить все элементы из таблицы, и я думал, что код ниже сделает это, но все, что я получаю, это сообщение, которое гласит: "Нет",

website_url = requests.get('https://google_cloud_platform.html').text
from bs4 import BeautifulSoup
soup = BeautifulSoup(website_url,'lxml')
print(soup.prettify())

My_table = soup.find('table',{'class':'p6n-table-full-width p6n-space-above-large p6n-table'})
print(My_table)

Вот изображение предмета, который я пытаюсь втянуть.

Изображение 174551

Возможно, мне нужно искать какой-то другой идентификатор. Я точно не знаю, что искать. Есть ли способ перечислить все имена таблиц? Может быть, на самом деле у него другое имя, или идентификатор, или что-то подобное.

Я начинаю думать, что это даже не настоящая таблица. Когда я запускаю сценарий ниже, я получаю следующее: "IndexError: индекс индекса вне диапазона". Это заставляет меня думать, что на веб-странице нет ни одной таблицы. Но, основываясь на снимке экрана, который я опубликовал, есть что-то, называемое "класс таблицы".

import pandas as pd
import requests
from bs4 import BeautifulSoup

res = requests.get("https://google_cloud_platform.html")
soup = BeautifulSoup(res.content,'lxml')
table = soup.find_all('table')[0] 
df = pd.read_html(str(table))
print(df[0].to_json(orient='records'))
  • 0
    Ваш код не вызывает find_all . Можете ли вы предоставить полную трассировку ошибок?
Теги:
python-3.x

1 ответ

0

попробуй это

import requests
from bs4 import BeautifulSoup

res = requests.get("http://127.0.0.1:1234")
soup = BeautifulSoup(res.text, features="lxml")
table = soup.find_all('table')
for t in table:
    print(t.contents)
  • 0
    Благодарю. Это ничего не дает мне, что-то вроде того, что я подозревал. Я не знаю, как получить эти веб-элементы, потому что я даже не могу определить, что это за объект. Тьфу. Любые другие идеи о том, что я могу сделать, чтобы выяснить, что здесь происходит?
  • 0
    дай мне источник этой страницы. Я проверяю это, и это работает. Я думаю, что страница, на которой вы работаете, не имеет элемента таблицы и показывает таблицу по-другому (извините за плохой английский)
Показать ещё 1 комментарий

Ещё вопросы

Сообщество Overcoder
Наверх
Меню