Промежуточные результаты

1

У меня небольшое пользовательское приложение Dask (~ 20 узлов в DAG). Я хотел бы как-то сохранить все промежуточные результаты функций для будущей инспекции, поскольку иногда мы хотим знать, почему мы достигли нашего окончательного ответа. Существуют ли какие-либо хорошие шаблоны для этого в Dask, кроме нажатия на результаты в Redis (или тому подобное) перед возвратом функции?

Теги:
dask
dask-distributed

1 ответ

1
Лучший ответ

Вы можете рассчитывать промежуточные результаты вместе с вашими окончательными результатами.

a = dask.delayed(inc)(1)
b = dask.delayed(inc)(2)
c = dask.delayed(add)(a, b)

dask.compute(c)  # only return c, releasing a and b as soon as possible

dask.compute(a, b, c)  # return all three
  • 0
    Сохранит ли dask промежуточные результаты из c, чтобы вернуть a и b? Или он будет вычислять a, b и c независимо, дублируя вычисления для a & b?
  • 1
    Он сделает разумную вещь, объединит все графы задач, выполнит этот граф и вернет желаемые результаты.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню