nohup
-
[Airflow] 에어플로우 worker 중단 현상 해결Airflow 2021. 11. 19. 22:24
문제발생 모든 딥러닝 학습 DAG들이 실패해서 딥러닝 배포 Pipeline이 작동하지 않음. DAG 내부의 실패 Task들이 모두 모델 학습 Task들이어서 워크스테이션에서 돌고 있는 worker 중단 현상을 의심함. 원인파악 1. 워크스테이션 접속 후 airflow worker process 확인 $ ps -ef |grep worker ⇒ worker가 죽어있는 것 확인 ⇒ 만약 worker가 정상적으로 떠 있으면 다음과 같은 형태로 프로세스가 확인 되어야 함 2. worker를 nohup으로 돌리고 있으므로, nohup.out 파일에 남긴 마지막 로그 확인하기 # sudo find 위치 -이름 파일명 $ sudo find /data -name nohup.out ⇒ 여러경로에 여러개의 nohup.out..
-
Linux 리눅스 명령어 정리개발Tip 2021. 4. 11. 20:03
실행 프로세스 확인하기 $ ps # 현재 수행 프로세스 목록 확인 $ ps -ef # 전체 프로세스 확인 $ ps -ef|grep airflow # airflow가 포함된 문자열 process 출력 $ ps -ef|grep worker # worker가 포함된 문자열 process 출력 백그라운드에서 중단 없이 webserver 실행하기 $ nohup airflow webserver & nohup(no hang up): 중단 없이 실행하기(데몬 형태로) &: 백그라운드에서 실행하기(터미널에서 다른 작업 동시 실행 가능) 프로세스 종료 $ ps -ef|grep my_script.sh # 프로세스 아이디 확인(2번째 숫자) $ kill -9 {process ID} 당신이 어떤 것을 할머니에게 설명해주지 못한..