У меня проблема с scrapy Crawlspider: в принципе, он не уходит, как и предполагалось, если возникает исключение CloseSpider. Ниже приведен код:
from scrapy.spiders import CrawlSpider, Rule
from scrapy.exceptions import CloseSpider
from scrapy.linkextractors import LinkExtractor
import re
class RecursiveSpider(CrawlSpider):
name = 'recursive_spider'
start_urls = ['https://www.webiste.com/']
rules = (
Rule(LinkExtractor(), callback='parse_item', follow=True),
)
miss = 0
hits = 0
def quit(self):
print("ABOUT TO QUIT")
raise CloseSpider('limits_exceeded')
def parse_item(self, response):
item = dict()
item['url'] = response.url
item['body'] = '\n'.join(response.xpath('//text()').extract())
try:
match = re.search(r"[A-za-z]{0,1}edical[a-z]{2}", response.body_as_unicode()).group(0)
except:
match = 'NOTHING'
print("\n")
print("\n")
print("\n")
print("****************************************INFO****************************************")
if "string" in item['url']:
print(item['url'])
print(match)
print(self.hits)
self.hits += 10
if self.hits > 10:
print("HITS EXCEEDED")
self.quit()
else:
self.miss += 1
print(self.miss)
if self.miss > 10:
print("MISS EXCEEDED")
self.quit()
print("\n")
print("\n")
print("\n")
Проблема в том, что, хотя я вижу, что он входит в условия, и я вижу, как Eception поднимается в журнале, искатель продолжает сканирование. Я запускаю его с помощью:
scrapy crawl recursive_spider
Я собираюсь угадать, что это случай, когда слишком много времени, когда вы закрываете, а не игнорируете исключение. Двигатель не выйдет, пока он не выполнит все запланированные/отправленные запросы, поэтому я предлагаю снизить значения параметров CONCURRENT_REQUESTS/CONCURRENT_REQUESTS_PER_DOMAIN
, чтобы убедиться, что это работает для вас.
Вы создали "Рекурсивный" Паук, поэтому он работает рекурсивно. Удалите параметр "rules" и он остановится после полного сканирования.