[Airflow] Airflow A서버에서 B서버로 CLI 명령어 날리기

 

1. 고객사 해지 후 Airflow A서버의 추천 학습 DAG들 삭제할 때 Airflow B서버의 세그먼트 학습 DAG들도 삭제해주어야 함

 

2. Airflow A서버 → Airflow B서버로 ssh 명령어 날리기

 

3. 접속이 무한대기중에 걸려있길래 Security Group 문제를 의심하고 SSH-20으로 등록(HTTP Port X)

 

4. Security Group 등록 후 재시도

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ Permissions 0644 for 'gr.pem' are too open. It is required that your private key files are NOT accessible by others. This private key will be ignored. Load key "gr.pem": bad permissions

• pem파일에 권한주기

  chmod 0400 /data/pem/ds.pem

  https://www.lesstif.com/lpt/ssh-unprotected-private-key-file-80249001.html

 

5. airflow 경로 설정

ssh -i 주소 뒤에 airflow 명령어를 날리면 airflow를 못 찾음

bash: airflow: command not found 

 

Airflow seg 서버에 들어가면 정상 작동되는데 airflow 경로를 찾지 못하는 문제

⇒ airflow 대신 airflow 절대경로!! 입력하기

/home/ec2-user/.local/bin/airflow

ssh -i "groobeeds.pem" ec2-user@ec2-3-34-48-165.ap-northeast-2.compute.amazonaws.com /home/ec2-user/.local/bin/airflow dags delete -y ml.rfm_thezam1_service_v2.0

 

 

Airflow A서버(statistic, purchase, keyword)와 B서버(rfm, statistic_real)의 DAG들이 정상적으로 실행되는 것 확인!

 

 

- 이상 오늘의 삽질일기 끝!

 

---

여기저기 삽질도 해보고

날려도 먹으면서

배우는 게

결국 남는거다

- Z.Sabziller