dag_run
반응형
-
[Airflow] Airflow DAG runs 개수 주기적으로 삭제하기Airflow 2023. 8. 1. 00:06
Airflow 각 DAG의 Runs 기록을 보면 매일 DAG run 개수가 누적되어 쌓이고 있었다. Airflow.cfg 내부 설정에서 개수 제한 관련 설정이 있는지 찾아봤지만, 딱히 찾지 못해서 자체 삭제 스크립트를 개발하기로 했다. 주기를 설정하여 특정 날짜만큼의 run 개수만 유지하도록 하는 로직으로 매일 배치 스케줄을 걸어 해당 주기 이전의 데이터는 삭제하도록 했다. 이렇게 하면 log 저장에 따른 DB 용량 과부하를 관리할 수 있을 것으로 예상. 1. 필요한 모듈 import from airflow import DAG, settings from airflow.models import DagRun from airflow.operators.python import PythonOperator fro..