Некоторые веб-сайты, похоже, полагаются исключительно на javascript для создания своих веб-страниц. Как пользователь, мы даже не видим окончательного "реального" вывода HTML. Например, если вы открыли страницу отслеживания FedEx < https://www.fedex.com/fedextrack/?tracknumbers=YOUR_TRACKING_NUMBER > и просмотрите ее исходную страницу (<view-source: https://www.fedex.com/fedextrack/? tracknumbers = YOUR_TRACKING_NUMBER > в chrome), вы можете видеть только код javascript.
Вопрос: как мы можем анализировать такие веб-страницы? Например, как мы можем разработать программы для повторной конструирования и автоматического понимания выходного HTML?
Вы можете восстановить DOM с помощью безгласного веб-браузера. Вот пример: Phantom JS.
Кроме того, вы можете использовать Selenium для написания фактического веб-браузера.