Читайте веб-сайт, как пользователи видят его с HttpComponents

Question

Читайте веб-сайт, как пользователи видят его с HttpComponents

0

Я хочу получить html сайта, как если бы я просмотрел свой браузер.

Когда я пытаюсь получить html сайта, это происходит иначе, чем когда я использую хром, и мне было интересно, могу ли я сделать законный запрос на получение с HttpComponents из apache.

Я попытался установить User-Agent, но он не сработал... что еще мне делать?

Спасибо

aclokay 18 окт. 2013, в 19:15

Источник

1

Определите, что вы подразумеваете под «это не сработало» . Пожалуйста, прочитайте FAQ и Как спросить советы по написанию хороших вопросов.
Jim Garrison 18 окт. 2013, в 16:50

Теги:

java

html

web-crawler

1 ответ

Ещё вопросы

Определите, что вы подразумеваете под «это не сработало» . Пожалуйста, прочитайте FAQ и Как спросить советы по написанию хороших вопросов.

Jim Garrison · Accepted Answer · 2013-10-18T14-58-00.000Z

Если веб-страница была статическим HTML, то да, вы могли бы это сделать. Многие веб-страницы в настоящее время динамически создаются с помощью Javascript на клиенте из разных источников (HTML, XML, JSON и т.д.), Поэтому единственным представлением того, что видит пользователь, является DOM в браузере. Если вы не хотите эмулировать полную среду исполнения браузера (или можете подключиться к браузеру), это будет невозможно.

Теперь я понимаю, спасибо .. Думаю, если я захочу увидеть веб-страницу такой, какой она есть, мне придется скомпилировать javascript и все остальное ..