Асинхронная обработка Dask, печать результатов по мере их поступления

Question

Асинхронная обработка Dask, печать результатов по мере их поступления

1

Следующий пример не работает, если asynchronous ключевое слово не используется в Localcluster. Я хотел бы контролировать, сколько процессов/работников используется и обрабатывать функции параллельно, и распечатывать результаты по мере их готовности. Что нужно изменить?

import time
from dask.distributed import Client, LocalCluster, as_completed


def wait(sec):
    time.sleep(sec)
    return sec


def main():

    cluster = LocalCluster(n_workers=2, ncores=2, asynchronous=True)
    inputs = [5, 7, 3, 1]
    client = Client(cluster)
    futures = client.map(wait, inputs)

    for future, result in as_completed(futures, with_results=True):
        print(result)

    client.close()


if __name__ == '__main__':
    main()

Sebastian 21 июнь 2018, в 21:21

Источник

Теги:

python

dask

asynchronous

cluster-computing

1 ответ

Ещё вопросы

MRocklin · Accepted Answer · 2018-06-21T21-01-00.000Z

Как вы полагаете, вы должны удалить asynchronous= ключевое слово из вашего вызова LocalCluster. Это ключевое слово используется для поддержки асинхронных функций, например:

async def main():
    cluster = await LocalCluster(n_workers=2, ncores=2, asynchronous=True)
    inputs = [5, 7, 3, 1]
    client = await Client(cluster, asynchronous=True)
    futures = client.map(wait, inputs)

    async for future, result in as_completed(futures, with_results=True):
        print(result)

    await client.close()

Если вы не хотите использовать синтаксис асинхронного ожидания (что относительно редко), вы должны игнорировать асинхронное ключевое слово. Вероятно, это не так, как вы думаете.

Спасибо! Я могу вызвать функцию с помощью get_event_loop().run_until_complete(main()) и код заканчивается TimeoutError?
Я также удивлен, что результат составляет 1, 3, 5, 7, потому что я думал, что работа двух рабочих даст 5, 7, 3, 1? Как осуществляется раздача работникам?
Почему вы используете программирование в стиле asyncio / tornado? Это необходимо только для продвинутых случаев использования. Я рекомендую не использовать программирование в стиле async-await, если вы не уверены, что оно вам нужно. Из вашего описания выше кажется, что это не нужно для вас.
Эффективное распределение задач среди работников - очень сложная тема. Я рекомендую прочитать больше о документации по адресу distrib.readthedocs.io/en/latest/asynchronous.html.