Dag Dependency
반응형
-
[Airflow] Airflow ExternalTaskSensor 활용법(feat. DAG Dependency)Airflow 2023. 2. 7. 23:50
Airflow DAG 사이의 dependency를 설정하는 방법은 2가지가 있는데 1) TriggerDagRunOperator 2) ExternalTaskSensor 1번 TriggerDagRunOperator의 경우, DAG A가 먼저 실행 된 후 task 종료 후 TriggerDagRunOperator task가 실행되면서 DAG B를 trigger하는 방식이다. 이 경우 DAG A에 task를 설정하고, DAG B의 스케줄 설정 여부와 관계없이 트리거를 할 수 있다. # DAG A Task 1 >> Task 2 >> TriggerDagRunOperator Task (Trigger DAG B Task 3) # DAG B Task 3 2번 ExternalTaskSensor이 경우, DAG B의 Exte..