Queue
-
[Airflow] DAG skipped 상태에서 멈춰있을 때(feat. queue 지정)Airflow 2022. 10. 21. 20:49
Airflow DAG 테스트 실행 중 마지막 task에서 skipped 상태에서 멈춰 중단된 상태. 다시 재시도를 위해 해당 task Clear-> Run 하면 Queue에서 멈춰있음. task의 코드를 살펴보니 queue를 할당하는 것을 빼먹은 것 발견함. cluster_remover = EmrTerminateJobFlowOperator( task_id='cluster_remover', job_flow_id="{{ task_instance.xcom_pull('cluster_creator', key='return_value') }}", ) 아래처럼 queue 이름을 지정해서 할당하면 success로 바뀐다! cluster_remover = EmrTerminateJobFlowOperator( task_id..
-
[Airflow] Airflow DAG skipped state 멈춤 현상 해결Airflow 2022. 8. 21. 23:36
Airflow DAG 실행 시 특정 Task에서 skipped 상태에서 멈춰있음. 해당 테스크 Clear -> Run 하면 Queue에서 멈춰있는 현상. => 해당 테스크 operator 코드 부분에서 worker queue를 빠뜨렸음을 발견함. ⚠️ 기존 코드 cluster_remover = EmrTerminateJobFlowOperator( task_id='cluster_remover', job_flow_id="{{ task_instance.xcom_pull('cluster_creator', key='return_value') }}", ) ✅ 변경 코드 cluster_remover = EmrTerminateJobFlowOperator( task_id='cluster_remover', job_flow_..
-
[Airflow] 에어플로우 worker 중단 현상 해결 Ver.2Airflow 2021. 12. 12. 12:47
문제발생 2021.12.09 기준 전날부터 딥러닝 모델 학습 DAG의 Task들이 돌지 않는 현상 발생. => 이는 Workstation에 있는 airflow worker가 작동하지 못하고 있기 때문. 1. Workstation worker 프로세스 확인 $ ps aux |grep rnn => 다행히 프로세스가 죽지 않고 정상 작동하고 있음을 확인. 2. airflow main 서버에서 scheduler와 redis 프로세스 확인. $ ps aux |grep scheduler $ ps aux |grep redis 3. airflow nohup.out 로그 확인 # workstation $ cd /data/airflow $ tail -100f nohup_dl_dags.out ⇒ 전날(21.12.08)에 인..
-
[Airflow] 에어플로우 worker 중단 현상 해결Airflow 2021. 11. 19. 22:24
문제발생 모든 딥러닝 학습 DAG들이 실패해서 딥러닝 배포 Pipeline이 작동하지 않음. DAG 내부의 실패 Task들이 모두 모델 학습 Task들이어서 워크스테이션에서 돌고 있는 worker 중단 현상을 의심함. 원인파악 1. 워크스테이션 접속 후 airflow worker process 확인 $ ps -ef |grep worker ⇒ worker가 죽어있는 것 확인 ⇒ 만약 worker가 정상적으로 떠 있으면 다음과 같은 형태로 프로세스가 확인 되어야 함 2. worker를 nohup으로 돌리고 있으므로, nohup.out 파일에 남긴 마지막 로그 확인하기 # sudo find 위치 -이름 파일명 $ sudo find /data -name nohup.out ⇒ 여러경로에 여러개의 nohup.out..
-
프로그래머스> 스택/큐> 프린터ALGORITHM/Programmers 2020. 6. 25. 08:25
코딩테스트 연습 - 프린터 일반적인 프린터는 인쇄 요청이 들어온 순서대로 인쇄합니다. 그렇기 때문에 중요한 문서가 나중에 인쇄될 수 있습니다. 이런 문제를 보완하기 위해 중요도가 높은 문서를 먼저 인쇄하는 프린�� programmers.co.kr 문제설명: priorities 리스트에 인쇄 요청이 들어온 문서들의 중요도가 나열되어 있고, 이 중 location 위치에 있는 문서가 맨 앞으로 와서 pop할 때의 순서를 반환해야 한다. 즉, location 위치의 문서가 맨 앞에 오고 그 중요도가 priorities 의 숫자들 중 가장 클 때까지 pop과 append를 적절히 반복해주면서 순서를 count해주면 된다. [1차 시도] def solution(priorities, location): answer..