Получение динамически загружаемых данных с веб-сайта

0

Я пытаюсь получить данные, которые динамически загружаются на веб-страницу, используя хешированные ссылки, например http://www.westfield.com.au/au/retailers#page=5

Мой вопрос в том, что технология используется для загрузки данных на страницу?

Во-вторых, как можно приблизиться к извлечению этих данных с помощью С#?

Мои попытки до сих пор использовали WebClient для загрузки страницы по этой ссылке, к сожалению, html файл содержит только данные с самой первой страницы, независимо от того, какую ссылку на страницу я использую.

Теги:

2 ответа

1

Какая технология используется для загрузки данных на страницу?

JavaScript используется для загрузки данных с сервера, анализа его в HTML и размещения его в нужном месте в DOM.

Во-вторых, как можно приблизиться к извлечению этих данных с помощью С#?

Отправьте запрос по http://www.westfield.com.au/api/v1/countries/au/retail-chains/search.json?page=5: http://www.westfield.com.au/api/v1/countries/au/retail-chains/search.json?page=5, он вернет структурированный документ JSON, содержащий нужные вам данные.

0

Если все, что вам нужно, это структура JSON, ответ Джона звучит как хорошее место для начала.

Если вам нужен хороший стек для истинного рендеринга, я бы использовал комбинацию phantomjs и Selenium, чтобы помочь свести его к.net.

Эта статья - отличное место для начала.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню