Как получить правильный HTML с сайта

Question

Как получить правильный HTML с сайта

0

Я пробовал это до сих пор:

Dim wreq As HttpWebRequest = WebRequest.Create("http://www.nasdaq.com/symbol/goog/financials?query=income-statement&data=quarterly")
    wreq.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5"
    wreq.Method = "get"
    Dim prox As IWebProxy = wreq.Proxy
    prox.Credentials = CredentialCache.DefaultCredentials
    Dim document As New HtmlAgilityPack.HtmlDocument
    Dim web As New HtmlAgilityPack.HtmlWeb
    web.UseCookies = True
    web.PreRequest = New HtmlAgilityPack.HtmlWeb.PreRequestHandler(AddressOf onPreReq)
    wreq.CookieContainer = cookies
    Dim res As HttpWebResponse = wreq.GetResponse()
    document.Load(res.GetResponseStream, True)
    Debug.WriteLine(document.DocumentNode.OuterHtml)

Но он возвращает HTML для этого веб-адреса: http://www.nasdaq.com/symbol/goog/financials?query=income-statement

Вместо этого: http://www.nasdaq.com/symbol/goog/financials?query=income-statement&data=quarterly

Что я делаю не так?

Дополнительная информация

Здесь onPreReq

Private Function onPreReq(req As HttpWebRequest)

    req.CookieContainer = cookies
    Return True

End Function

gromit1 07 нояб. 2013, в 18:22

Источник

1

Просто звучит так, будто ваш аргумент data не передается. Может быть, попробовать это так - stackoverflow.com/a/17219511/1454048
admdrew 07 нояб. 2013, в 16:45
0

@admdrew Извините, что был плотным. Но я не очень понимаю, как применить это к моей ситуации.
gromit1 07 нояб. 2013, в 17:03
1

Я не пробовал ваш код (я опишу позже, если у меня будет время), но в основном: разница между вашими двумя веб-адресами заключается только в &data=quarterly части, которая, кажется, игнорируется, верно? Это просто дополнительный аргумент, который является частью стандартного HTTP-запроса GET . Попробуйте использовать метод в ссылке, которую я поставил выше, посмотрите, поможет ли это.
admdrew 07 нояб. 2013, в 17:48
0

@admdrew Мне надоел этот Dim url As String = "http://www.nasdaq.com/symbol/" & Ticker & "/financials?query=income-statement&data=quarterly" Dim wreq As HttpWebRequest = WebRequest.Create(url) И у меня такая же проблема.
gromit1 07 нояб. 2013, в 18:42
1

Есть ли в onPreReq что-то, что меняет адрес. У меня нет HtmlAgilityPack, поэтому я закомментировал некоторый код и добавил другой, и он выглядел правильно.
Steve 07 нояб. 2013, в 21:13
0

@Steve Steve Я отредактировал свой оригинальный пост, чтобы добавить onPreReq . Я не верю, что это меняет адрес.
gromit1 07 нояб. 2013, в 21:17
0

Если я нажму на эту часть кода, чтобы перейти по ссылке http://www.nasdaq.com/symbol/goog/financials?query=income-statement&data=quarterly самом деле я http://www.nasdaq.com/symbol/v/financials по этому адресу http://www.nasdaq.com/symbol/v/financials вместо.
gromit1 07 нояб. 2013, в 21:22
1

Итак, если вы нажмете на ссылку, которую вы разместили выше, она приведет вас на другой сайт? Странный. Обратите внимание, я также не использовал куки в моем тесте, потому что ваш код неполон. Возможно, файлы cookie делают это для вас, или веб-сайт перенаправляет вас, потому что вы слишком сильно его ударили. Я видел это раньше. Вряд ли, потому что они просто направили вас на неправильную страницу с финансовыми данными. Обычно они перенаправляют вас на некоторую HTML-страницу, на которой написано, что вы что-то делаете против их политики.
Steve 07 нояб. 2013, в 21:31
0

@Steve Стив, надеюсь, меня не перенаправят из-за слишком частых посещений сайта. Это возможно, но я пытался принять меры предосторожности против слишком частых ударов. Как куки могут повлиять на меня? Есть ли у вас какие-либо идеи по поводу того, что упоминалось? Я до сих пор не совсем понимаю, что они говорят, но, похоже, это может быть полезно.
gromit1 07 нояб. 2013, в 21:35
0

@Steve Этот код работал в прошлом. И я не верю, что я сделал что-то для того, чтобы вызвать проблему. Я знаю, что HTML может измениться, но я не уверен, что это так. Мне интересно, получаю ли я перенаправление.
gromit1 07 нояб. 2013, в 21:37
1

1: я думаю, что admdrew просто указывал на очевидное между вашими 2 ссылками. Я не верю, что вы делаете это неправильно. 2: я не знаю, что находится в ваших куки или как их использует веб-сайт. Постарайтесь не передавать их и посмотрите, что произойдет. 3: все остальное терпит неудачу, попробуйте свой код на другом компьютере с другим общедоступным IP-адресом (например, в доме друзей) и посмотрите, работает ли он. Если это так, то веб-сайт обманывает вас из-за количества посещений.
Steve 07 нояб. 2013, в 21:47
0

@Steve Что касается преднамеренного перенаправления, я могу получить правильный адрес из браузера на этом компьютере. Меня перенаправляют только из моей программы. Это согласуется с тем, что сайт реагирует на количество посещений? Что касается файлов cookie, как я могу запустить свой код без передачи файлов cookie? Я пытался, и я не могу заставить код работать правильно.
gromit1 08 нояб. 2013, в 13:20

Показать ещё 10 комментариев

Теги:

html

vb.net

html-agility-pack

1 ответ

Ещё вопросы

Просто звучит так, будто ваш аргумент data не передается. Может быть, попробовать это так - stackoverflow.com/a/17219511/1454048
@admdrew Извините, что был плотным. Но я не очень понимаю, как применить это к моей ситуации.
Я не пробовал ваш код (я опишу позже, если у меня будет время), но в основном: разница между вашими двумя веб-адресами заключается только в &data=quarterly части, которая, кажется, игнорируется, верно? Это просто дополнительный аргумент, который является частью стандартного HTTP-запроса GET . Попробуйте использовать метод в ссылке, которую я поставил выше, посмотрите, поможет ли это.
@admdrew Мне надоел этот Dim url As String = "http://www.nasdaq.com/symbol/" & Ticker & "/financials?query=income-statement&data=quarterly" Dim wreq As HttpWebRequest = WebRequest.Create(url) И у меня такая же проблема.
Есть ли в onPreReq что-то, что меняет адрес. У меня нет HtmlAgilityPack, поэтому я закомментировал некоторый код и добавил другой, и он выглядел правильно.
@Steve Steve Я отредактировал свой оригинальный пост, чтобы добавить onPreReq . Я не верю, что это меняет адрес.
Если я нажму на эту часть кода, чтобы перейти по ссылке http://www.nasdaq.com/symbol/goog/financials?query=income-statement&data=quarterly самом деле я http://www.nasdaq.com/symbol/v/financials по этому адресу http://www.nasdaq.com/symbol/v/financials вместо.
Итак, если вы нажмете на ссылку, которую вы разместили выше, она приведет вас на другой сайт? Странный. Обратите внимание, я также не использовал куки в моем тесте, потому что ваш код неполон. Возможно, файлы cookie делают это для вас, или веб-сайт перенаправляет вас, потому что вы слишком сильно его ударили. Я видел это раньше. Вряд ли, потому что они просто направили вас на неправильную страницу с финансовыми данными. Обычно они перенаправляют вас на некоторую HTML-страницу, на которой написано, что вы что-то делаете против их политики.
@Steve Стив, надеюсь, меня не перенаправят из-за слишком частых посещений сайта. Это возможно, но я пытался принять меры предосторожности против слишком частых ударов. Как куки могут повлиять на меня? Есть ли у вас какие-либо идеи по поводу того, что упоминалось? Я до сих пор не совсем понимаю, что они говорят, но, похоже, это может быть полезно.
@Steve Этот код работал в прошлом. И я не верю, что я сделал что-то для того, чтобы вызвать проблему. Я знаю, что HTML может измениться, но я не уверен, что это так. Мне интересно, получаю ли я перенаправление.
1: я думаю, что admdrew просто указывал на очевидное между вашими 2 ссылками. Я не верю, что вы делаете это неправильно. 2: я не знаю, что находится в ваших куки или как их использует веб-сайт. Постарайтесь не передавать их и посмотрите, что произойдет. 3: все остальное терпит неудачу, попробуйте свой код на другом компьютере с другим общедоступным IP-адресом (например, в доме друзей) и посмотрите, работает ли он. Если это так, то веб-сайт обманывает вас из-за количества посещений.
@Steve Что касается преднамеренного перенаправления, я могу получить правильный адрес из браузера на этом компьютере. Меня перенаправляют только из моей программы. Это согласуется с тем, что сайт реагирует на количество посещений? Что касается файлов cookie, как я могу запустить свой код без передачи файлов cookie? Я пытался, и я не могу заставить код работать правильно.

gromit1 · Accepted Answer · 2013-11-08T13-15-00.000Z

Проблема была в моей переменной Ticker. Он содержит символы тикера, которые я использую для создания веб-адресов. Я использую все кепки (например, GOOG) до этого момента. Я изменил все свои тикеры на нижний регистр (например, goog) и, похоже, сделал трюк.