Airflow
-
[Airflow] MysQL 설치 후 실행 에러 해결(feat. version을 확인하쟈!)Airflow 2022. 7. 15. 22:02
MySQL 실행 error > sudo systemctl start mysqld Failed to start mysqld.service: Unit not found. > mysql --version mysql Ver 15.1 Distrib 5.5.68-MariaDB, for Linux(x86_64) using readline 5.1 => 처음 설치한 버전이 mariaDB 버전이었던게 문제였던 듯. MySQL 재설치 > sudo yum install -y mysql-server mysql-client No package mysql-server available. No package mysql-client available. Error: Nothing to do wget으로 mysql 설치 > wget ht..
-
[Airflow] Airflow 초간단 설치하기(feat. 10분 컷!)Airflow 2022. 6. 13. 23:48
1. Airflow 설치하기 airflow 설치에 필요한 변수들을 다음과 같이 설정하기 export AIRFLOW_HOME=~/airflow export AIRFLOW_VERSION=2.2.3 export PYTHON_VERSION=3.8 export CONSTRAINT_URL="" airflow install pip install "apache-airflow[async,postgres,google]==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}" 2. DB upgrade & initialize 처음 default db는 sqlite로 설정되어 있는데, 이는 development purposes only 즉 개발용으로 사용되고 실제 사용은 mysql, po..
-
[Airflow] Airflow A서버에서 B서버로 CLI 명령어 날리기Airflow 2022. 4. 4. 00:10
1. 고객사 해지 후 Airflow A서버의 추천 학습 DAG들 삭제할 때 Airflow B서버의 세그먼트 학습 DAG들도 삭제해주어야 함 2. Airflow A서버 → Airflow B서버로 ssh 명령어 날리기 3. 접속이 무한대기중에 걸려있길래 Security Group 문제를 의심하고 SSH-20으로 등록(HTTP Port X) 4. Security Group 등록 후 재시도 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0644 fo..
-
[Airflow] DAG에서 같은 yaml 파일 중복 사용시 ErrorAirflow 2022. 3. 21. 20:58
1. crontab OFF 상태에서 git_pull_clients Task 실행 시 ⇒ error 발생수동 git fetch —all ⇒ update_clients ⇒ errorup_for_retry에 걸려있음clients.yml은 변경(서비스키 삭제)된 상태 2. crontab ON 상태에서 update_clients Task 실행 시 ⇒ error 발생 clients.yml update 후 crontab 작동할 때 까지 대기 ⇒ 변경 전 clients.yml pull 땡긴 후 nothing to commit, working tree clean error 발생⇒ DAG가 돌아가는 중에 혹은 어떤 작업 진행 중 CONF repo에 변경사항이 반영되면 git pull을 요구하기 때문에 error가 발생함...
-
[Airflow] xcom variable return_value 반환 에러Airflow 2022. 3. 15. 21:33
처음 의도 Airflow task들끼리 변수를 전달하기 위해 xcom_pull을 명령어로 이전 task의 결과 값 return_value를 가져오려고 함. 그러나 DAG가 아예 사라져버린 현상을 마주했고, 아래와 같은 오류가 Airflow UI에 나타났음. Broken DAG: [/data/airflow/delete_serviceKey_dag.py] string indices must be integers XComs에는 의도한 값이 정상적으로 잘 나오고 있었다. client_info = "{{ task_instance.xcom_pull('get_client_data', key='return_value') }}" delete_DAG = BashOperator( task_id="delete_dag", bas..
-
[Airflow] Task in the 'queued' state(feat. 에어플로우 중단 현상)Airflow 2022. 3. 9. 17:43
문제 발생 Git에 원격으로 저장되어 있는 Airflow DAG 코드 수정 후 push하면 Airflow에서 동작을 안함 workflow: CONF repo → DAG repo → Airflow Main/Worker 서버 반영 문제 원인 Airflow Main과 Worker 모두에 동일한 코드의 DAG가 UPDATE 되어야 함!! 현재는 Airflow Main에만 update 되어 있었고, worker 서버에는 DAG repo pull이 안 땡겨지고 있었음 문제해결 remote: Repository not found. fatal: repository '' not found error: Could not fetch origin => git repo 주소가 잘못 되어있는것 같아 다시 clone 함. - 이상..
-
[Airflow] 에어플로우 worker 중단 현상 해결 Ver.2Airflow 2021. 12. 12. 12:47
문제발생 2021.12.09 기준 전날부터 딥러닝 모델 학습 DAG의 Task들이 돌지 않는 현상 발생. => 이는 Workstation에 있는 airflow worker가 작동하지 못하고 있기 때문. 1. Workstation worker 프로세스 확인 $ ps aux |grep rnn => 다행히 프로세스가 죽지 않고 정상 작동하고 있음을 확인. 2. airflow main 서버에서 scheduler와 redis 프로세스 확인. $ ps aux |grep scheduler $ ps aux |grep redis 3. airflow nohup.out 로그 확인 # workstation $ cd /data/airflow $ tail -100f nohup_dl_dags.out ⇒ 전날(21.12.08)에 인..
-
[Airflow] 에어플로우 worker 중단 현상 해결Airflow 2021. 11. 19. 22:24
문제발생 모든 딥러닝 학습 DAG들이 실패해서 딥러닝 배포 Pipeline이 작동하지 않음. DAG 내부의 실패 Task들이 모두 모델 학습 Task들이어서 워크스테이션에서 돌고 있는 worker 중단 현상을 의심함. 원인파악 1. 워크스테이션 접속 후 airflow worker process 확인 $ ps -ef |grep worker ⇒ worker가 죽어있는 것 확인 ⇒ 만약 worker가 정상적으로 떠 있으면 다음과 같은 형태로 프로세스가 확인 되어야 함 2. worker를 nohup으로 돌리고 있으므로, nohup.out 파일에 남긴 마지막 로그 확인하기 # sudo find 위치 -이름 파일명 $ sudo find /data -name nohup.out ⇒ 여러경로에 여러개의 nohup.out..