Airflow 1.9.0 не может поставить задачи в очередь

1

У меня возникла проблема, когда задачи будут успешно завершены, но задача нисходящего потока не будет распознавать этот факт и поэтому не будет поставлена в очередь.

Приложение A: задача выполнена успешно

Изображение 174551

Экспозиция B: stage_photos не ставится в очередь:

Изображение 174551

Это известная проблема? У кого-нибудь есть совет? Это, похоже, началось с обновления с 1,8 до 1,9, а также только для определенных видов задач (датчиков, операторов питона, возвращающих значения).

  • 0
    Каково состояние тех же самых двух задач в прогоне до того, как было изображено?
Теги:
python-3.x
airflow

1 ответ

1
Лучший ответ

Я предполагаю, что у вас несколько запусков DAG, которые не удалось, поэтому он не работает с параметром depends_on_past True.

Из официальных документов: depends_on_past (boolean), который, когда установлен в True, не позволяет запускать задачу, если предыдущее расписание для задачи не удалось.

Если, согласно моим предположениям, предыдущий прогон не достиг его конечного состояния, когда stage_photos преуспел в этом предыдущем запуске, это не будет работать в текущем прогоне.

Поделиться
  • 0
    Это интересно - я понимаю, что depends_on_past означает, что он будет зависеть от предыдущих задач в ходе выполнения, а не от предыдущих расписаний. Любая идея, как заставить это вернуться к работе снова? Я пытался вручную сбой / удаление предыдущих запусков
  • 1
    Вручную пометив предыдущие запуски как успешные, нужно добиться цели.
Показать ещё 1 комментарий

Ещё вопросы

Сообщество Overcoder
Наверх
Меню