Как найти все строки по bs4?

1

Я хочу проанализировать определенную страницу с некоторыми изображениями, но изображения не находятся в фиксированном теге a, вот несколько примеров:

<meta name="description" content="This is Text."><meta name="Keywords" content="Weather"><meta property="og:type" content="article"><meta property="og:title" content="Cloud"><meta property="og:description" content="Testing"><meta property="og:url" content="https://weathernews.jp/s/topics/201807/300285/"><meta property="og:image" content="https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_sns_img_A.jpg?1532940869"><meta name="twitter:title" content="【天地始粛】音や景色から感じる秋の気配"><meta name="twitter:description" content="28日からは「天地始粛(てんちはじめてさむし)」。 「粛」にはおさまる、弱まる等の意味があり、夏の暑さもようやく落ち着いてくる頃とされています。"><meta name="twitter:image" content="https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_sns_img_A.jpg?1532940869"><link rel="canonical" href="https://weathernews.jp/s/topics/201807/300285/"><link rel="amphtml" href="https://weathernews.jp/s/topics/201807/300285/amp.html"><script async="async" src="https://www.googletagservices.com/tag/js/gpt.js"></script>
<img style="width:100%" id="box_img1" alt="box1" src="https://smtgvs.weathernews.jp/s/topics/img/dummy.png" class="lazy" data-original="https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img1_A.png?1503665797">'
<img style="width:100%" id="box_img2" alt="box2" src="https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img2_A.jpg?1503378518">

Я попытался использовать код, как показано ниже, чтобы получить все изображения, но никаких результатов, что я могу сделать?

soup.find_all(string=re.compile(r"(https://smtgvs.weathernews.jp/s/topics/img/[0-9]+/.+)\?[0-9]+"))
  • 0
    Тема этого поста и его содержание противоречат друг другу. Что именно вы просите?
  • 0
    В примере, какие URL должны совпадать? Все четыре?
Теги:
beautifulsoup
findall

1 ответ

3
Лучший ответ

Я лично считаю, что это один из редких случаев, когда применение регулярного выражения к полному документу без использования парсера HTML - это самый простой и удобный способ. И поскольку вы на самом деле просто ищете URL-адреса и не соответствуют каким-либо тэгам HTML в регулярном выражении, точки, сделанные в этом потоке, недействительны для этого случая:

In [1]: data = """
   ...: <meta name="twitter:image" content="https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_sns_img_A.jpg?1532940869">
   ...: <img style="width:100%" id="box_img1" alt="box1" src="https://smtgvs.weathernews.jp/s/topics/img/dummy.png" class="lazy" data-original="https:
   ...: //smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img1_A.png?1503665797">'
   ...: <img style="width:100%" id="box_img2" alt="box2" src="https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img2_A.jpg?1503378518
   ...: ">
   ...: """

In [2]: import re

In [3]: pattern = re.compile(r"https://smtgvs.weathernews.jp/s/topics/img/[0-9]+/.+\?[0-9]+")

In [4]: pattern.findall(data)
Out[4]: 
['https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_sns_img_A.jpg?1532940869',
 'https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img1_A.png?1503665797',
 'https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img2_A.jpg?1503378518']

Если вы заинтересованы в том, как применить шаблон регулярного выражения к нескольким атрибутам в BeautifulSoup, это может быть что-то вроде этих строк (не очень, я знаю):

In [6]: results = soup.find_all(lambda tag: any(pattern.search(attr) for attr in tag.attrs.values()))

In [7]: [next(attr for attr in tag.attrs.values() if pattern.search(attr)) for tag in results]
Out[7]: 
[u'https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_sns_img_A.jpg?1532940869',
 u'https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img1_A.png?1503665797',
 u'https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img2_A.jpg?1503378518']

Здесь мы в основном итерируем все атрибуты всех элементов и проверяем соответствие шаблона. Затем, как только мы получим все совпадающие теги, мы итерируем результаты и получим значение соответствующего атрибута. Мне действительно не нравится тот факт, что мы дважды проверяем регулярное выражение - при поиске тегов и при проверке желаемого атрибута совпадающего тега.

lxml.html и его полномочия XPath позволяют работать с атрибутами напрямую, но lxml поддерживает XPath 1.0, который не поддерживает регулярные выражения. Вы можете сделать что-то вроде:

In [10]: from lxml.html import fromstring

In [11]: root = fromstring(data)

In [12]: root.xpath('.//@*[contains(., "smtgvs.weathernews.jp") and contains(., "?")]') 
Out[12]: 
['https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_sns_img_A.jpg?1532940869',
 'https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img1_A.png?1503665797',
 'https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img2_A.jpg?1503378518']

который не на 100%, что вы сделали, и, вероятно, создаст ложные срабатывания, но вы можете принять его дальше и добавить больше "подстрока в строке", если это необходимо.

Или вы можете захватить все атрибуты всех элементов и фильтровать с помощью регулярного выражения, которое у вас уже есть:

In [14]: [attr for attr in root.xpath("//@*") if pattern.search(attr)]
Out[14]: 
['https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_sns_img_A.jpg?1532940869',
 'https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img1_A.png?1503665797',
 'https://smtgvs.weathernews.jp/s/topics/img/201807/201807300285_box_img2_A.jpg?1503378518']
Поделиться
  • 0
    Может быть, с оговоркой, что он будет соответствовать содержанию в комментариях и т.д.
  • 0
    Спасибо за ваш более длинный ответ. но я не очень хорош в этой теме, можете ли вы разобрать все изображения отсюда url = 'https://weathernews.jp/s/topics/201807/300285/?fm=onebox' resp = requests.get(url) soup = BeautifulSoup(resp.text, 'lxml')
Показать ещё 3 комментария

Ещё вопросы

Сообщество Overcoder
Наверх
Меню