Как получить информацию в списке ссылок кукловода

1

Я пытаюсь очистить информацию с помощью Puppeteer с веб-страницы, в которой отображается таблица со ссылками.

Когда вы открываете одну ссылку, открывается модальный номер с дополнительной информацией.

Я пытаюсь открыть все ссылки и получить информацию обо всех них.

Это мой код:

const puppeteer = require('puppeteer');
const fs = require('fs');
puppeteer.launch({headless: false}).then(async browser => {
    const page = await browser.newPage();
    await page.goto('https://fcylf.es/competiciones');

    const competitionframe = await page.frames().find(f => f.name() === 'iframecombos');

    const button = await competitionframe.$('#formulario > div.centrado > input.btn.btn-danger.boton_envio.btn-lg');
    button.click();

    let mainframe = await page.frames().find(f => f.name() === 'iframebooox');
    await mainframe.waitForSelector('#datos > ul > li:nth-child(3) > a');
    const div = await mainframe.$('#datos > ul > li:nth-child(3) > a');
    div.click();


    await mainframe.waitForSelector('#clasificacion > .panel > .table-responsive > #resultadosTable > tbody > tr > td > div > a');
    const teams = await mainframe.$$('#clasificacion > .panel > .table-responsive > #resultadosTable > tbody > tr > td > div > a ');

    const results = [];
    for(let team of teams){

        team.click();
        await mainframe.waitForSelector('#myModalLabel');
        const name = await mainframe.$eval('#myModalLabel', name => name.textContent );
        results.push(name);

        const closebt = await mainframe.$('#datos > div.equipoModal.modal.fade.in > div > div > div.modal-footer > button');
        if(closebt!=null){
            closebt.click();
        }
    }
    console.log(results);
});

Но когда я показываю журнал, он всегда показывает тот же результат.

  • 0
    Похоже, они используют этот идентификатор #myModalLabel около 31 раза. Я думаю, что это обманывает тебя.
Теги:
web-scraping
puppeteer
headless-browser

1 ответ

0

Я думаю, вы хотите найти #myModalLabel в div, который установлен для отображения: block;

Скрытый модальный:

<div class="equipoModal modal fade" tabindex="-1" role="dialog" aria-labelledby="basicModal" aria-hidden="true" style="display: none;">

Показан модальный:

<div class="equipoModal modal fade in" tabindex="-1" role="dialog" aria-labelledby="basicModal" aria-hidden="false" style="display: block;">

Эта строка:

const name = await mainframe.$eval('#myModalLabel', name => name.textContent );

Похоже, он захватывает textContent из скрытых модалов, а не тот, который показывает.

Я думаю. Надеюсь это поможет!

  • 0
    Я решил включить waitFor со временем, чтобы открыть модал, и waitFor со временем, чтобы позволить модалу закрыться. Спасибо за помощь!

Ещё вопросы

Сообщество Overcoder
Наверх
Меню