Создание групп DAG воздушного потока в GCP Composer

Question

Создание групп DAG воздушного потока в GCP Composer

1

Я только что узнал о GCP Composer и стараюсь переместить DAG из моего локального экземпляра воздушного потока в облако и задать пару вопросов о переходе.

В локальном экземпляре я использовал HiveOperator для чтения данных из улья и создания таблиц и записи обратно в улей. Если бы мне пришлось сделать это в GCP, как это возможно? Должен ли я загружать свои данные в Google Bucket и работает ли HiveOperator в GCP?
У меня есть DAG, который использует sensor чтобы проверить, завершена ли другая DAG, возможно ли это в Composer?

John Constantine 30 нояб. 2018, в 17:59

Источник

Теги:

python

google-cloud-platform

airflow

google-cloud-composer

2 ответа

Ещё вопросы

Omkara · Answer 1 · 2018-12-07T13-52-00.000Z

У композитора есть хранилище подключений. См. Меню Admin--> Соединение. Проверьте тип соединения.

Датчики доступны.

kaxil · Answer 2 · 2018-11-30T18-32-00.000Z

Да, Cloud Composer просто управляется Apache Airflow, поэтому вы можете это сделать.

Убедитесь, что вы используете ту же версию Airflow, которую вы использовали локально. Cloud Composer поддерживает Airflow 1.9.0 и 1.10.0 в настоящее время.