Python запрашивает открытие нескольких экземпляров

Question

Python запрашивает открытие нескольких экземпляров

1

Есть ли способ открыть несколько браузеров в python с запросами? Я получаю данные с сайта с 6 000 000 страниц. Если бы у меня была возможность открывать 10 за раз, это, без сомнения, бежало бы быстрее. Есть ли способ сделать это?

Kamikaze_goldfish 29 авг. 2018, в 01:52

Источник

1

Многопроцессорные или асинхронные вызовы.
colidyre 28 авг. 2018, в 23:01

Теги:

python

python-requests

2 ответа

Ещё вопросы

Многопроцессорные или асинхронные вызовы.

campellcl · Answer 1 · 2018-08-28T22-00-00.000Z

Как упоминал @colidyre, вы можете использовать многопроцессорные или асинхронные вызовы. Вы также можете использовать библиотеку, такую как Selenium или Scrapy, которая будет использовать многопроцессорные или асинхронные потоки за кулисами.

necko · Answer 2 · 2018-08-28T20-04-00.000Z

Попробуйте использовать aiohttp, асинхронную версию модуля requests. Вы можете получить цикл, о котором он говорит, с

import asyncio
loop = asyncio.get_event_loop()