skipped
-
[Airflow] DAG skipped 상태에서 멈춰있을 때(feat. queue 지정)Airflow 2022. 10. 21. 20:49
Airflow DAG 테스트 실행 중 마지막 task에서 skipped 상태에서 멈춰 중단된 상태. 다시 재시도를 위해 해당 task Clear-> Run 하면 Queue에서 멈춰있음. task의 코드를 살펴보니 queue를 할당하는 것을 빼먹은 것 발견함. cluster_remover = EmrTerminateJobFlowOperator( task_id='cluster_remover', job_flow_id="{{ task_instance.xcom_pull('cluster_creator', key='return_value') }}", ) 아래처럼 queue 이름을 지정해서 할당하면 success로 바뀐다! cluster_remover = EmrTerminateJobFlowOperator( task_id..
-
[Airflow] Airflow DAG skipped state 멈춤 현상 해결Airflow 2022. 8. 21. 23:36
Airflow DAG 실행 시 특정 Task에서 skipped 상태에서 멈춰있음. 해당 테스크 Clear -> Run 하면 Queue에서 멈춰있는 현상. => 해당 테스크 operator 코드 부분에서 worker queue를 빠뜨렸음을 발견함. ⚠️ 기존 코드 cluster_remover = EmrTerminateJobFlowOperator( task_id='cluster_remover', job_flow_id="{{ task_instance.xcom_pull('cluster_creator', key='return_value') }}", ) ✅ 변경 코드 cluster_remover = EmrTerminateJobFlowOperator( task_id='cluster_remover', job_flow_..