Monitoring System
-
Airflow 모니터링 시스템 구축기 Part.2(Feat. prometheus 설치)Monitoring System/Prometheus 2023. 6. 10. 16:14
https://ninano1109.tistory.com/273 Airflow 모니터링 시스템 구축기 Part.1(Feat. exporter 설치) Airflow on ECS 파이프라인을 구축한 후, Airflow 서버와 DB로 사용중인 RDS 서버를 모니터링하기 위한 파이프라인을 아래와 같이 구축했습니다. Airflow와 RDS 각 서비스에서 매트릭을 생성해서 보내주면 ninano1109.tistory.com Airflow 모니터링 시스템 구축기 exporter 설치에 이어서 다음으로 Prometheus를 설치했습니다. 앞서 말했듯이, prometheus pull 방식의 매트릭 수집기입니다. 수집된 매트릭 정보는 용량을 압축하여 시계열 데이터베이스에 저장되며, PromQL 쿼리를 통해 빠르게 조회가 가능..
-
Airflow 모니터링 시스템 구축기 Part.1(Feat. exporter 설치)Monitoring System/Exporter 2023. 6. 6. 23:31
Airflow on ECS 파이프라인을 구축한 후, Airflow 서버와 DB로 사용중인 RDS 서버를 모니터링하기 위한 파이프라인을 아래와 같이 구축했습니다. Airflow와 RDS 각 서비스에서 매트릭을 생성해서 보내주면 시계열(time series) DB인 Prometheus가 수집 및 저장하고 이를 최종적으로 시계열 데이터 시각화 도구인 Grafana에서 대시보드로 보여주는 로직입니다. 각 서비스와 Prometheus 사이에는 exporter라는 중간 매개체(?) 서비스가 있는데 이는 2가지 이유에서 존재합니다: 1. StatsD는 push 모델 방식으로, Prometheus는 pull 모델 방식으로 작동한다. 따라서 중간에서 StatsD가 push하고 Prometheus가 pull할 수 있는 중..
-
[Airflow] Airflow-StatsD exporter 연동 에러 해결Monitoring System/Exporter 2023. 5. 8. 21:48
airflow metrics를 StatsD에 받아오기 위한 statsd-exporter를 도커로 띄우고 airflow 서버와 연결해주어야 하는데, stastd-exporter metrics UI에서 airflow 메트릭이 확인이 안되는 상황에서의 삽질일기를 공유하고자 합니다. 먼저 결론부터 말씀드리자면, 9125/UDP 열어주기!!!! 1️⃣ statsd-exporter 서버의 security group에서 airflow 서버의 port를 열어주어야 합니다. statsd-exporter security group에 airflow webserver ip 주소(또는 ecs의 경우 airflow target-group sg) 입력 9125(statsD) tcp port로 열어주기 그러나 여전히 아무 반응이 없..