[Airflow] DAG skipped 상태에서 멈춰있을 때(feat. queue 지정)

 

Airflow DAG 테스트 실행 중 마지막 task에서 skipped 상태에서 멈춰 중단된 상태.

다시 재시도를 위해 해당 task Clear-> Run 하면 Queue에서 멈춰있음.

 

task의 코드를 살펴보니 queue를 할당하는 것을 빼먹은 것 발견함.

cluster_remover = EmrTerminateJobFlowOperator(
        task_id='cluster_remover',
        job_flow_id="{{ task_instance.xcom_pull('cluster_creator', key='return_value') }}",
    )

 

아래처럼 queue 이름을 지정해서 할당하면 success로 바뀐다!

 

cluster_remover = EmrTerminateJobFlowOperator(
        task_id='cluster_remover',
        job_flow_id="{{ task_instance.xcom_pull('cluster_creator', key='return_value') }}",
        aws_conn_id='aws_default',
        queue="testq"
    )

=> DAG 실행 오류를 발견했을 때, queue를 꼭 살펴보쟈!

 

 

- 이상 오늘의 삽질일기 끝!

 

---

여기저기 삽질도 해보고

날려도 먹으면서

배우는 게

결국 남는거다

- Z.Sabziller

 

 

 

'쫄보의삽질' 블로그 탄생스토리가 궁금하다면:

Git push 취소 방법 (feat. '쫄보의삽질' 블로그 탄생 배경)