[Airflow] Airflow DAG skipped state 멈춤 현상 해결

Airflow DAG 실행 시 특정 Task에서 skipped 상태에서 멈춰있음.

해당 테스크 Clear -> Run 하면 Queue에서 멈춰있는 현상.

 

=> 해당 테스크 operator 코드 부분에서 worker queue를 빠뜨렸음을 발견함.

 

⚠️ 기존 코드

cluster_remover = EmrTerminateJobFlowOperator(
        task_id='cluster_remover',
        job_flow_id="{{ task_instance.xcom_pull('cluster_creator', key='return_value') }}",
    )

 

✅ 변경 코드

cluster_remover = EmrTerminateJobFlowOperator(
        task_id='cluster_remover',
        job_flow_id="{{ task_instance.xcom_pull('cluster_creator', key='return_value') }}",
        queue="testq"
    )

 

- 이상 오늘의 삽질일기 끝!

 

 

---

여기저기 삽질도 해보고

날려도 먹으면서

배우는 게

결국 남는거다

- Z.Sabziller