curl не работает для «динамических моделей блогов»

0

cURL: Я пытаюсь получить/сохранить html-страницу некоторых "динамических моделей блогов", таких как:

http://jackturf.blogspot.fr/

Моя простая пробная версия в командной строке dos:

"D:\EXE_UTIL\CURL\curl.exe"  -o "d:\temp.html" "http://jackturf.blogspot.fr/"

Received=21597 bytes  

Но google chrome CTRL-S сохраняет в HTML COMPLETE PAGE = 160 kb!

Я использую завиток в течение многих лет, всегда хорошо даже с помощью файлов cookie, но теперь с этой "динамической моделью Google" я не знаю, как получить полный размер страницы html?

Моя версия cURL: (также я попробовал несколько других предыдущих версий...)

curl 7.39.0 (i386-pc-win32) libcurl/7.39.0 OpenSSL/1.0.0o zlib/1.2.8 libidn/1.18 libssh2/1.4.3 librtmp/2.3
Protocols: dict file ftp ftps gopher http https imap imaps ldap pop3 pop3s rtmp rtsp scp sftp smtp smtps telnet tftp 
Features: AsynchDNS IDN Largefile SSPI SPNEGO NTLM SSL libz 

У кого-нибудь есть решение для dos-командной строки?

Теги:
curl

2 ответа

0
Лучший ответ

Простой анализ трафика показывает, что для разбора доступен канал json. Попробуй это:

"D:\EXE_UTIL\CURL\curl.exe" -o "d:\temp.json" "http://jackturf.blogspot.fr/feeds/posts/default?alt=json&orderby=published"
  • 0
    Изменить: изменил \ temp.html на \ temp.json
  • 0
    Да, спасибо, это работает. Файл примерно в 10 раз больше ... но я думаю, я справлюсь с этим решением. Если у кого-то еще нет других решений для обзора ...
Показать ещё 3 комментария
0

Разница в размере вызвана curl не выполняющим JavaScript внутри страницы, в то время как ваш браузер выполняет JavaScript (и, следовательно, изменяет HTML), прежде чем сохранять его с помощью CTRL-S.

Чтобы получить тот же результат, вам нужно будет выполнить JavaScript внутри страницы, прежде чем сохранять его. Это невозможно с завиванием, поэтому вы можете посмотреть другие альтернативы.

  • 0
    Благодарю. Другие альтернативы ... да, если у кого есть простые идеи? если возможно в командной строке ... или, если нет ...

Ещё вопросы

Сообщество Overcoder
Наверх
Меню