AWS
-
AWS Lambda를 이용한 슬랙 알림 메세지 보내기(Feat. Slack, Teams Incoming Webhook)AWS/Lambda 2022. 2. 7. 20:09
1. AWS Lambda Function 생성하기 Lambda 접속 후 > Create Function 클릭 Author from scratch 선택 후 아래 하단에 funtion name 생성, Runtime(함수 작성할 언어) 선택 3. 아래 Permissions에 AWS 서비스 사용 권한을 주기 위해 IAM role 설정(신규/기존) 4. 회사 망 내에서 사용하기 위해 Advanced settings에서 VPC와 Subnet, 그리고 Security Group을 차례대로 설정 5. Create function 버튼 클릭! Lambda Function을 만들었으면, 이 함수를 실행하기 위한 Trigger Event가 필요하다. Trigger Event로는 API Gateway, SNS, EventBr..
-
AWS Access Key, Secret Access Key 변경AWS 2022. 1. 26. 23:44
0. AWS CloudTrail에서 기존 access key의 활성화 상태 확인 1. EMR에서 사용중인 것 확인 Event Source IP 주소인 EMR_manager에 들어가서 Airflow DAG ML/DL학습 후 계속 떠있는 EMR cluster 삭제(클러스터 정리) 파일에서 사용하고 있는 AWS access/secret access key 확인 # EMR_cluster_manager.py client = boto3.client( 'emr', region_name='ap-northeast-2', aws_access_key_id=ACCESS_KEY, aws_secret_access_key=SECRET_KEY ) 해당 key를 새로운 grb_ds_default key로 대체하려고 했으나, crede..
-
API 모델 CodePipeline 아키텍처(Feat. 검색어 추천 API 배포)AWS/CodePipeline 2021. 8. 16. 00:24
keyword_train DAG에서 검색어 학습 후 docker image 빌드 및 FastAPI 컨테이너를 띄우기 위해 필요한 모든 파일을 S3 버킷 내 latest/latest.zip(default로 지정!) 이름으로 업로드 codepipeline은 latest/latest.zip을 센싱하고 있다가 변경 사항이 감지되면 trigger Source stage latest/latest.zip를 build stage로 전달함 Build stage latest.zip을 압축 해제 후 docker image build 및 ECR에 해당 이미지 push DeployToDev stage ECR에서 해당 docker 이미지를 pull 하고 해당 이미지를 기반으로 검색어 추천 ML 모델을 개발 서비스에 배포함 Val..
-
AWS ECS를 활용한 머신러닝 서비스 배포하기 #3 (feat. Task Definition, Service 생성)AWS/ECS 2021. 7. 4. 23:18
https://ninano1109.tistory.com/156 AWS ECS를 활용한 서비스 배포하기 #2 (feat. Security Group 생성) https://ninano1109.tistory.com/155 Create an empty cluster> Tag 입력 2. Load Balancer Dev/Prod Application Load Balancer Create> Name입력> Scheme: internet-facing> Listeners: HTTP/80> Availability.... ninano1109.tistory.com Task Definition Dev FARGATE> Task Definition Name: keyword-dev> Task Role 비워두기> Network Mode..
-
AWS ECS를 활용한 머신러닝 서비스 배포하기 #2 (feat. Security Group 생성)AWS/ECS 2021. 7. 1. 23:51
https://ninano1109.tistory.com/155 AWS ECS를 활용한 서비스 배포하기 #1 (feat. Cluster, Load Balancer 생성) 1. Cluster EC2 Linux + Networking> Create an empty cluster> Tag 입력 2. Load Balancer Dev/Prod Application Load Balancer Create> Name입력> Scheme: internet-facing> Listeners: HTTP/80> Availability.. ninano1109.tistory.com Security Group Security group name> VPC 선택> Inbound rules> Outbound rules:All> Tags 설정..
-
AWS ECS를 활용한 머신러닝 서비스 배포하기 #1 (feat. Cluster, Load Balancer 생성)AWS/ECS 2021. 6. 27. 09:16
1. Cluster EC2 Linux + Networking> Create an empty cluster> Tag 입력 2. Load Balancer Dev/Prod Application Load Balancer Create> Name입력> Scheme: internet-facing> Listeners: HTTP/80> Availability Zones: VPC 선택> Tag 설정 Listeners 해당 Load Balancer에서 사용할 Security Group 생성 시 추가했더 IP의 Port 번호를 추가해주어, 요청이 들어오는 Port를 듣고 허용을 해 줄 수 있음 Security Settings: Next 누르기 Security Group 선택/ 새로 생성하기(Load Balancer용으로!) ..
-
AWS S3 Bucket 다운로드AWS 2021. 5. 21. 23:15
AWS S3란? Amazon Simple Storage Service. S가 무려 3개나 들어간 SX3로 AWS S3라고 합니다:) 이름에서 볼 수 있듯이 AWS가 제공하는 저장소이며, Bucket 단위로 관리를 할 수 있습니다. AWS에 올라가 있는 이 S3 bucket을 다운로드 하는 방법을 알아보려고 합니다! 1. 먼저 제일 중요한 AWS CLI 설치하기 부터 https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/install-cliv2.html AWS CLI 버전 2 설치, 업데이트 및 제거 - AWS 명령줄 인터페이스 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방..
-
AWS hosts 설정하기& AWS 서버 Spark 실행 오류AWS 2021. 3. 8. 22:28
1. AWS 서버에서 프로그램 실행 시 host 오류가 났을 때: sudo: unable to resolve host $ sudo su - $ sudo vi /etc/hosts # 상단에 아래 코드 입력 127.0.0.1 localhost 127.0.0.1 ip-##-###-##-### esc+ :wq로 저장+종료하기 2. AWS Spark 실행 오류 spark-shell, pyspark 명령어 입력 시 오류 메세지: java.net.UnknownHostException: ip-10-xxx-xx-xxx: ip-10-xxx-xx-xxx: Name or service not known hostname 형식을 '-' 에서 '.'으로 바꿔주기:) $ sudo hostname 10.xxx.xx.xxx $ host..