Как извлечь данные из CDATA в Python и BeautifulSoup?

Question

Как извлечь данные из CDATA в Python и BeautifulSoup?

1

Я хотел бы извлечь post_id из данных cd

<script type='text/javascript' data-cfasync='false'>
  //<![CDATA[
    _SHR_SETTINGS = {"endpoints":{"local_recs_url":"https:\/\/klaudynahebda.pl\/wp-admin\/admin-ajax.php?action=shareaholic_permalink_related"},"url_components":{"year":"2018","monthnum":"06","day":"19","post_id":"21132","postname":"letnie-warsztaty-ziolowo-kosmetyczne-7-9lipiec","author":"admin"}};
  //]]>
</script>

Я смог захватить целые CData, но не знаю, что делать дальше?

AnOko 21 июнь 2018, в 20:03

Источник

Теги:

python

web-scraping

beautifulsoup

2 ответа

1

возможно, это не супер решение, но я получаю его

from bs4 import BeautifulSoup

html = """
<script type='text/javascript' data-cfasync='false'>
//<![CDATA[
    _SHR_SETTINGS = {"endpoints":{"local_recs_url":"https:\/\/klaudynahebda.pl\/wp-admin\/admin-ajax.php?action=shareaholic_permalink_related"},"url_components":{"year":"2018","monthnum":"06","day":"19","post_id":"21132","postname":"letnie-warsztaty-ziolowo-kosmetyczne-7-9lipiec","author":"admin"}};
//]]>
</script>
"""

soup = BeautifulSoup(html, 'lxml')

dct = {}

for scr in soup.find_all('script'):
    for x in scr.text.split(','):
        if 'post_id' in x:
            k, v = x.replace('"', '').split(':')
            dct[k] = v

print(dct['post_id'])

Выход

Druta Ruslan 21 июнь 2018, в 16:18

Ещё вопросы

Rakesh · Accepted Answer · 2018-06-21T16-42-00.000Z

Если вам просто нужно post_id попробуйте использовать regex.

Пример:

import re
s = """<script type='text/javascript' data-cfasync='false'>
  //<![CDATA[
    _SHR_SETTINGS = {"endpoints":{"local_recs_url":"https:\/\/klaudynahebda.pl\/wp-admin\/admin-ajax.php?action=shareaholic_permalink_related"},"url_components":{"year":"2018","monthnum":"06","day":"19","post_id":"21132","postname":"letnie-warsztaty-ziolowo-kosmetyczne-7-9lipiec","author":"admin"}};
  //]]>
</script>"""
m = re.search(r'(?<="post_id":\")(?P<post_id>.*?)(?=\",\")', s)
if m:
    print(m.group('post_id'))

Выход: