У меня небольшое пользовательское приложение Dask (~ 20 узлов в DAG). Я хотел бы как-то сохранить все промежуточные результаты функций для будущей инспекции, поскольку иногда мы хотим знать, почему мы достигли нашего окончательного ответа. Существуют ли какие-либо хорошие шаблоны для этого в Dask, кроме нажатия на результаты в Redis (или тому подобное) перед возвратом функции?
Вы можете рассчитывать промежуточные результаты вместе с вашими окончательными результатами.
a = dask.delayed(inc)(1)
b = dask.delayed(inc)(2)
c = dask.delayed(add)(a, b)
dask.compute(c) # only return c, releasing a and b as soon as possible
dask.compute(a, b, c) # return all three