Используйте scrapy, чтобы сканировать собственность в блоке

Question

Используйте scrapy, чтобы сканировать собственность в блоке

0

Я использую scrapy для сканирования этой ссылки:

<input class="xxxmail" type="text" readonly="readonly" value="xxx.org">

Мне просто нужен "xxx.org". Как его получить?

willie 18 апр. 2014, в 19:11

Источник

Теги:

python

html

web-scraping

scrapy

web-crawler

1 ответ

Ещё вопросы

alecxe · Answer 1 · 2014-04-18T15-29-00.000Z

1

Вы можете использовать следующее выражение xpath:

//input[@class="xxxmail"]/@value

Это позволит получить value атрибута с input тега с "xxxmail" class.

В паук вы должны сначала создать экземпляр Selector а затем extract() из xpath:

sel = Selector(response)
print sel.xpath('//input[@class="xxxmail"]/@value').extract()

alecxe 18 апр. 2014, в 15:29

0

Спасибо за ваш ответ. Я попробовал ваш метод. Не работает Я думаю, что проблема не в xpath, но есть div верхнего уровня, показанный как style = "display: block;"
willie 18 апр. 2014, в 17:09
0

@willie не может сказать больше, не увидев реальную веб-страницу, которую вы сканируете.
alecxe 18 апр. 2014, в 17:11
0

Привет, это так xxx.org "> </ li> </ ul> </ div>
willie 18 апр. 2014, в 17:16
1

@Willie Можете ли вы дать ссылку на веб-страницу? Кроме того, какую ошибку вы получаете? Вы заменили xxxmail на anonemail ?
alecxe 18 апр. 2014, в 17:29
0

Привет, спасибо за ваш ответ. Я не получаю никаких ошибок, потому что сканер не может найти этот путь до нажатия кнопки. Я хочу просканировать эту страницу: newbrunswick.en.craigslist.ca/rvs/4443347993.html Есть кнопка «контакт», только после того, как вы нажмете ее, вы сможете увидеть адрес электронной почты контакта, который я хочу получить.
willie 28 апр. 2014, в 00:10
0

@willie необходимые данные находятся в div с классом reply_options . Попробуйте //div[@class="reply_options"] xpath.
alecxe 28 апр. 2014, в 00:34
0

Привет, я пытался все эти xpaths, поэтому я считаю, что необходима функция, чтобы нажать на кнопку. Ты знаешь как это сделать?
willie 29 апр. 2014, в 15:15
0

@willie, вы не можете сделать действие щелчка UI с помощью Scrapy . Если вы считаете, что вам нужно нажать на кнопку, выберите инструмент Селен . Надеюсь, это поможет.
alecxe 29 апр. 2014, в 15:16
0

Благодарю. Я знаю. Но я не нашел полезного примера, сочетающего терапию и селен.
willie 29 апр. 2014, в 15:28
0

Например: stackoverflow.com/questions/17975471/…
alecxe 29 апр. 2014, в 15:28
0

Привет, я пробовал эти примеры, но всегда получаю это предупреждение: ScrapyDeprecationWarning: SeleniumSpider.spiders.SeleniumSpider.SeleniumSpider наследует от устаревшего класса scrapy.spider.BaseSpider, пожалуйста, наследуйте от scrapy.spider.Spider. (предупреждение только о первом подклассе, могут быть и другие). Класс SeleniumSpider (BaseSpider) Можете ли вы написать простую схему использования селена в скрапе? Также возможно ли использование CrawlSpider?
willie 02 май 2014, в 01:41

Показать ещё 9 комментариев