Как получить файл, если нет ссылки

Question

Как получить файл, если нет ссылки

1

Я разбирал steamdb для университетского проекта, где мне удалось получить почти все, используя BeatifulSoup и urllib, но есть одна вещь, которую я не могу заставить работать, потому что нет ссылок на нее.

Эти диаграммы https://steamdb.info/app/570/graphs/, когда вы нажимаете на значок загрузки в верхней правой части графика и выбираете любой вариант загрузки, вы можете загрузить файл, но нет ссылок в тегах когда вы проверяете элемент.

Я обнаружил, что есть некоторые прослушиватели событий onclick, прикрепленные к этим загружаемым div, и прослеживают эти функции к этому js https://steamdb.info/static/js/vendor/highstock.20180826.js и в этом js, если вы ищете "highcharts-menu-item" (который является классом для тех, кто загружает div), вы получаете ровно 1 совпадение. Но я не мог понять, как эта функция создает элемент загрузки. Так может кто-нибудь объяснить, как происходит магия загрузки.

TubbyStubby 23 окт. 2018, в 22:21

Источник

0

Этот код минимизирован, его чрезвычайно сложно читать и понимать.
Barmar 23 окт. 2018, в 19:49
1

HighCharts строит графики на лету и создает временные изображения в браузере - с этим не связано никаких физических файлов ... Вам понадобится возможность эффективно «запускать» JavaScript, чтобы получить HighCharts графики.
Zak 23 окт. 2018, в 19:51
0

@Barmar Barmar, вы можете использовать этот browserling.com/tools/js-prettify, чтобы сделать код читабельным.
TubbyStubby 23 окт. 2018, в 19:51
0

@TubbyStubby Это хорошо делает отступ, это все еще не понятно с бессмысленными именами переменных.
Barmar 23 окт. 2018, в 19:53
0

@Zak они должны предоставить данные для построения графика, и эти данные должны откуда-то приходить. Можете ли вы выяснить, откуда это происходит?
TubbyStubby 23 окт. 2018, в 19:56
2

@TubbyStubby - С моей установкой HighCharts я использую операторы CURL прямо из моего php , в мою DB и затем отображаю страницу - так что, на самом деле, если они делают это так, как я, то нет, вы не можете сказать, где находятся их данные «исходящий из» - вы можете использовать вкладку «Сеть» в инструментах вашего разработчика и надеяться, что они делают вызов AJAX с JSON или чем-то полезным, что вы можете использовать - иначе вы застрянете при разборе / запуске сам JS.
Zak 23 окт. 2018, в 20:00
0

@TubbyStubby - более того - Если у вас были данные в руках .. Вам все еще нужно запустить HighCharts для построения графиков .. Если вы не думали, что вы можете построить их самостоятельно с необработанными данными ..
Zak 23 окт. 2018, в 20:05
0

Из приведенных ниже ответов я получил все данные, необходимые для построения графика. Значения хранятся в виде пар ключ-значение. Начало представляет время эпохи, для которой начинается ось X, и шаги снова составляют 1 день во времени эпохи. Но все же я постараюсь запустить JS и получить загрузку.
TubbyStubby 24 окт. 2018, в 02:59

Показать ещё 6 комментариев

Теги:

javascript

web-scraping

beautifulsoup

urllib

1 ответ

Ещё вопросы

Этот код минимизирован, его чрезвычайно сложно читать и понимать.
HighCharts строит графики на лету и создает временные изображения в браузере - с этим не связано никаких физических файлов ... Вам понадобится возможность эффективно «запускать» JavaScript, чтобы получить HighCharts графики.
@Barmar Barmar, вы можете использовать этот browserling.com/tools/js-prettify, чтобы сделать код читабельным.
@TubbyStubby Это хорошо делает отступ, это все еще не понятно с бессмысленными именами переменных.
@Zak они должны предоставить данные для построения графика, и эти данные должны откуда-то приходить. Можете ли вы выяснить, откуда это происходит?
@TubbyStubby - С моей установкой HighCharts я использую операторы CURL прямо из моего php , в мою DB и затем отображаю страницу - так что, на самом деле, если они делают это так, как я, то нет, вы не можете сказать, где находятся их данные «исходящий из» - вы можете использовать вкладку «Сеть» в инструментах вашего разработчика и надеяться, что они делают вызов AJAX с JSON или чем-то полезным, что вы можете использовать - иначе вы застрянете при разборе / запуске сам JS.
@TubbyStubby - более того - Если у вас были данные в руках .. Вам все еще нужно запустить HighCharts для построения графиков .. Если вы не думали, что вы можете построить их самостоятельно с необработанными данными ..
Из приведенных ниже ответов я получил все данные, необходимые для построения графика. Значения хранятся в виде пар ключ-значение. Начало представляет время эпохи, для которой начинается ось X, и шаги снова составляют 1 день во времени эпохи. Но все же я постараюсь запустить JS и получить загрузку.

oliver cumming · Accepted Answer · 2018-10-23T18-55-00.000Z

Я просмотрел вкладку сети инструментов chrome dev, чтобы найти следующую конечную точку API (щелкните вкладку "Ответ", чтобы увидеть данные JSON): https://steamdb.info/api/GetGraph/?type=concurrent_max&appid=570

Что соответствует этому элементу:

<iframe src="https://steamdb.info/embed/?appid=570" height="389px" width="100%" scrolling="no" frameborder="0"></iframe>

        a.Chart.prototype.getCSV = function(a) {
        var f = ""
          , h = this.getDataRows()
          , d = this.options.exporting.csv
          , l = m(d.decimalPoint, "," !== d.itemDelimiter && a ? (1.1).toLocaleString()[1] : ".")
          , e = m(d.itemDelimiter, "," === l ? ";" : ",")
          , p = d.lineDelimiter;
        c(h, function(a, d) {
            for (var c, g = a.length; g--; )
                c = a[g],
                "string" === typeof c && (c = '"' + c + '"'),
                "number" === typeof c && "." !== l && (c = c.toString().replace(".", l)),
                a[g] = c;
            f += a.join(e);
            d < h.length - 1 && (f += p)
        });

Прежде всего, спасибо. Хотя это не дает мне файл xls или csv, но подход, данный @Zak, и то, что вы нашли, дает необработанные данные, которые кажутся читаемыми.
Я предположил, что данные в формате JSON позволят вам выполнить вашу задачу. В дополнение к ответам выше, Pretty Print доступна в инструментах Chrome Dev, нажмите кнопку {} . Вы также можете найти в этом симпатичном печатном коде «CSV», который сузит генерацию файла CSV. Удачи :)