Доступ к значению оператора воздушного потока вне оператора

Question

Доступ к значению оператора воздушного потока вне оператора

1

Вне оператора мне нужно вызвать SubdagOperator и передать ему возвращаемое значение оператора, используя xcom. Я видел множество решений (Airflow - Как передать переменную xcom в функцию Python, Как получить значение из Airflow XCom, нажатого через SSHExecuteOperator и т.д.).

Все они в основном говорят "имя_переменной": "{{ti.xcom_pull (task_ids = 'some_task_id')}}"

Но мой шаблон Jinja продолжает обрабатываться как строка и не возвращает действительную переменную. Любые идеи почему?

Вот мой текущий код в главном dag:

PARENT_DAG_NAME = 'my_main_dag'
CHILD_DAG_NAME = 'run_featurization_dag'

run_featurization_task = SubDagOperator(
    task_id=CHILD_DAG_NAME,
    subdag=run_featurization_sub_dag(PARENT_DAG_NAME, CHILD_DAG_NAME, default_args, cur_date, "'{{ ti.xcom_pull(task_ids='get_num_accounts', dag_id='" + PARENT_DAG_NAME + "') }}'" ),  
    default_args=default_args,
    dag=main_dag
)

Yusuf Khaled 17 окт. 2018, в 22:49

Источник

Теги:

python

airflow

jinja2

2 ответа

Ещё вопросы

theotheo · Answer 1 · 2019-01-26T15-01-00.000Z

Jinja Templating работает только для определенных параметров, а не для всех.

You can use Jinja templating with every parameter that is marked as "templated" in the documentation. Template substitution occurs just before the pre_execute function of your operator is called.

https://airflow.apache.org/concepts.html#jinja-templating

Поэтому я боюсь, что вы не можете передать переменную таким образом.

SergiyKolesnikov · Answer 2 · 2018-10-18T09-37-00.000Z

Слишком много цитат? Попробуй это

"{{ ti.xcom_pull(task_ids='get_num_accounts', dag_id='" + PARENT_DAG_NAME + "') }}"