Мне нужно почистить сайт обмена фильмами, где каждый фильм может иметь несколько эпизодов. Паук все еще работает нормально, но есть некоторые недостатки с возвращенными предметами.
Когда паук получает доступ к странице индекса, он извлекает ссылки для просмотра фильма (http://tamnhinso.info/phim/phim-bo/), а затем выдает запрос на получение страницы показа для фильмов (которые имеют много эпизодов). оттуда он будет анализировать ссылку для каждого эпизода, а затем попытаться выполнить запрос GET для каждого URL эпизода. После этого паук проанализирует HTML-ответ, чтобы получить ссылку на видео для каждого эпизода.
def start_requests(self):
for url in self.start_urls:
yield Request(url=url, callback=self.parse_list_movie)
def parse_list_movie(self, response):
movie_urls = LinkExtractor(restrict_xpaths="//div[@class='col-md-2 col-xs-6 movie-item']").extract_links(response)
for item in movie_urls:
yield Request(url=item.url, callback=self.parse_movie_info)
next_page = response.meta.get('next_page')
num_next_page = 2 if next_page is None else next_page
next_page_link = "phim/phim-bo/viewbycategory?page="
if num_next_page <= 40:
yield response.follow(next_page_link + str(num_next_page),
callback=self.parse_list_movie, meta = {'next_page' : num_next_page + 1})
def parse_movie_info(self, response):
l = ItemLoader(item=PhimBoItem(), response=response)
#some code to retrieve information from that film
link_film_url = response.xpath("//div[@class='movie-detail']//div[@class='mt-10']/a/@href").extract_first()
yield scrapy.Request(url=response.urljoin(link_film_url), callback=self.parse_list_episode, meta={"item": l})
def parse_list_episode(self, response):
loader = response.meta.get('item')
script = """
function main(splash)
splash.html5_media_enabled = true
splash.private_mode_enabled = false
assert(splash:go(splash.args.url))
assert(splash:wait(3))
return splash:html()
end
"""
for episode in LinkExtractor(restrict_xpaths="//div[@class='col-md-6 mt-20 watch-chap']").extract_links(response):
yield SplashRequest(url=response.urljoin(episode.url), callback=self.parse_link_episode, meta={'item': loader}, endpoint='execute',
args={'lua_source': script,'wait': 5, 'timeout': 3600})
def parse_link_episode(self, response):
loader = response.meta.get('item')
loader.replace_value('episode', self.get_episode(response))
return loader.load_item()
def get_episode(self, response):
l = ItemLoader(item=Episode(), response=response)
l.add_value('ep_num', response.url, re = r'\-(\d+)')
l.add_value('link', self.get_link(response))
return dict(l.load_item())
def get_link(self, response):
l = ItemLoader(item=Link(), response=response)
l.add_xpath('link_360', "//source[@label='360']/@src")
l.add_xpath('link_720', "//source[@label='720']/@src")
l.add_xpath('link_1080', "//source[@label='1080']/@src")
return dict(l.load_item())
Возвращенный элемент будет передан через конвейеры элементов и сохранен в формате строки json. Поскольку у каждого фильма есть много эпизодов, результат, который я получаю, выглядит следующим образом:
{"id":1, ..., "episode": {"ep_num": "1", "link": "..."}}
{"id":1, ..., "episode": {"ep_num": "2", "link": "..."}}
{"id":2, ..., "episode": {"ep_num": "1", "link": "..."}}
это потому, что элементы передаются в конвейеры - это данные для каждого эпизода в фильме. Я хочу, чтобы данные выглядели так:
{"id":1, ..., "episode": [{"ep_num": "1", "link": "..."},
{"ep_num": "2", "link": "..."}, ...]}
{"id":2, ..., "episode": {"ep_num": "1", "link": "..."}}
Я думаю, что мне нужно передать данные обратно в предыдущий обратный вызов в scrapy, но я не понимаю, как это сделать. Пожалуйста, помогите мне. Я правда ценю это. Спасибо.
Насколько я знаю, по крайней мере, нет простого способа собрать эти ответы в вашем методе разбора.
Самым простым способом может быть постобработка ваших элементов после завершения сканирования.
Если вы не можете ждать так долго, вы можете передать список запрошенных URL-адресов в виде метаданных с каждым запросом. В вашем конвейере товаров вы можете попытаться дождаться всех этих ответов, пока не выполните дальнейшую обработку. В этом случае вы должны убедиться, что действительно все запросы производят элемент (даже те, которые не были выполнены или отброшены).
РЕДАКТИРОВАТЬ: Я просто наткнулся на эту библиотеку. Это может помочь вам: https://github.com/rmax/scrapy-inline-requests