반응형
ExternalTaskSensor
-
[Airflow] Airflow ExternalTask Sensor 생성하기Airflow 2021. 8. 9. 00:06
배경설명 매일 각 고객사별로 검색어 추천용 데이터를 수집하기 위한 DAG가 돌아가는데 모든 고객사 DAG들이 돌고 난 이후 검색어 추천 모델 배포용 DAG가 자동으로 실행(trigger)될 수 있도록 고객사 데이터 수집 -> 모델 학습 -> 그리고 자동으로 배포까지 가능한 자동화 파이프라인을 리서치해봄. 해결방안 이 문제해결을 위한 요구조건으로는 모든 DAG들이 돌았음을 감지하는 무언가가 필요했고 Airflow에 있는 기능 중 ExternalTaskSensor가 그 역할을 할 수 있다고 판단하여 TEST 진행함. *유의사항 ExternalTaskSensor는 무조건 해당 dag의 스케줄 시간이 정확히 맞는 run만 sensing 한다. https://uiandwe.tistory.com/1302 airfl..