Как извлечь значение сценария FOM с помощью регулярных выражений Python в Webscraping?

1
Я пытаюсь узнать, как использовать регулярное выражение для извлечения значений с помощью python. вот сценарий, поэтому, как получить salesprice, seller_name и skuId
<script>
define('app/pc', ['//laz-g-cdn.alicdn.com/lzdfe/pdp-platform/0.1.8/pc.js'], function(app) {
try {
    app.run( {
        "data": {
            "root": {
                "fields": {"skuInfos": {
                        "0": {
                            "categoryId":"8711", "dataLayer": {
                                "pdt_category":["Mother & Baby", "Feeding", "Milk Formula", "Follow On (6 - 12 mnths)"], "pagetype":"pdp", "pdt_discount":"-8%", "pdt_photo":"//laz-img-sg.alicdn.com/original/6bdf9b4b759b97f57b438a605f0e37e7.jpg", "v_voya":1, "brand_name":"Dumex", "brand_id":"30360", "pdt_sku":153105871, "core": {
                                    "country": "SG", "layoutType": "desktop", "language": "en", "currencyCode": "SGD"
                                }
                                , "seller_name":"Dumex", "pdt_simplesku":191142180, "pdt_name":"Dumex Mamil Gold Stage 2 Follow On Baby Milk Formula (850g)", "page": {
                                    "regCategoryId": "180101030000", "xParams": "_p_typ=pdp&_p_ispdp=1&_p_item=DU741TBAATAO7DSGAMZ-61110782&_p_prod=153105871&_p_sku=191142180&_p_slr=100047849"
                                }
                                , "supplier_id":100047849, "pdt_price":"47.9"
                            }
                            , "image":"//laz-img-sg.alicdn.com/original/6bdf9b4b759b97f57b438a605f0e37e7.jpg", "inWishlist":false, "itemId":"153105871", "operation": {
                                "operationWeight": 6, "text": "Add to Cart", "type": "default"
                            }
                            ,  "price": {
                                "discount":"-8%", "originalPrice": {
                                    "text": "SGD47.90", "value": 47.9
                                }
                                , "salePrice": {
                                    "text": "SGD44.29", "value": 44.29
                                }
                            } ,
                            ], "sellerId":"100047849", "skuId":"191142180", "stock":18, "stockList":[ {
                                "stoock": 18, "type": "default"
                            }
                            ]
                        }
</script>
Теги:
web-scraping
beautifulsoup

1 ответ

0
Лучший ответ

Один подход будет основан на сочетании анализа HTML, регулярных выражений и json-загрузки:

  • найдите нужный элемент script с помощью BeautifulSoup (вы показали один элемент script, но я предполагаю, что он находится внутри большего HTML-кода)
  • извлечение желаемого объекта Javascript с использованием регулярных выражений
  • используйте json.loads() чтобы загрузить его в файл/список Python
  • получить желаемые вещи от этого объекта Python

Smth в этих строках:

import json
import re
from pprint import pprint

from bs4 import BeautifulSoup


data = """
<script>
define('app/pc', ['//laz-g-cdn.alicdn.com/lzdfe/pdp-platform/0.1.8/pc.js'], function(app) {
try {
    app.run( {
        "data": {
            "root": {
                "fields": {"skuInfos": {
                        "0": {
                            "categoryId":"8711", "dataLayer": {
                                "pdt_category":["Mother & Baby", "Feeding", "Milk Formula", "Follow On (6 - 12 mnths)"], "pagetype":"pdp", "pdt_discount":"-8%", "pdt_photo":"//laz-img-sg.alicdn.com/original/6bdf9b4b759b97f57b438a605f0e37e7.jpg", "v_voya":1, "brand_name":"Dumex", "brand_id":"30360", "pdt_sku":153105871, "core": {
                                    "country": "SG", "layoutType": "desktop", "language": "en", "currencyCode": "SGD"
                                }
                                , "seller_name":"Dumex", "pdt_simplesku":191142180, "pdt_name":"Dumex Mamil Gold Stage 2 Follow On Baby Milk Formula (850g)", "page": {
                                    "regCategoryId": "180101030000", "xParams": "_p_typ=pdp&_p_ispdp=1&_p_item=DU741TBAATAO7DSGAMZ-61110782&_p_prod=153105871&_p_sku=191142180&_p_slr=100047849"
                                }
                                , "supplier_id":100047849, "pdt_price":"47.9"
                            }
                            , "image":"//laz-img-sg.alicdn.com/original/6bdf9b4b759b97f57b438a605f0e37e7.jpg", "inWishlist":false, "itemId":"153105871", "operation": {
                                "operationWeight": 6, "text": "Add to Cart", "type": "default"
                            }
                            ,  "price": {
                                "discount":"-8%", "originalPrice": {
                                    "text": "SGD47.90", "value": 47.9
                                }
                                , "salePrice": {
                                    "text": "SGD44.29", "value": 44.29
                                }
                            } ,
                            "sellerId":"100047849", "skuId":"191142180", "stock":18, "stockList":[ {
                                "stoock": 18, "type": "default"
                            }
                            ]
                        }
</script>"""


soup = BeautifulSoup(data, "html.parser")

pattern = re.compile(r'"skuInfos": {\s+"0": ({.*})$', re.MULTILINE | re.DOTALL)

script = soup.find("script", text=pattern)

json_string = pattern.search(script.get_text()).group(1)
data = json.loads(json_string)


print(data['price']['salePrice']['value'])
print(data['skuId'])
print(data['dataLayer']['pdt_category'])

Печать:

44.29
191142180
['Mother & Baby', 'Feeding', 'Milk Formula', 'Follow On (6 - 12 mnths)']

Обратите внимание, что для этого я должен был исправить синтаксическую ошибку в самом JS, поскольку я думаю, что это не полный сценарий, который у вас есть. В любом случае, я могу представить, что вам нужно будет скорректировать шаблон, чтобы лучше совместить желаемый объект JS для вашего конкретного варианта использования.

  • 0
    Вы правы, сценарий находится в большем html, так что этот сценарий находится на 124-м месте на html-странице, так как мне выбрать сценарий на 124-й позиции и передать паттен?

Ещё вопросы

Сообщество Overcoder
Наверх
Меню