분류 전체보기
-
AWS Lambda를 이용한 슬랙 알림 메세지 보내기(Feat. Slack, Teams Incoming Webhook)AWS/Lambda 2022. 2. 7. 20:09
1. AWS Lambda Function 생성하기 Lambda 접속 후 > Create Function 클릭 Author from scratch 선택 후 아래 하단에 funtion name 생성, Runtime(함수 작성할 언어) 선택 3. 아래 Permissions에 AWS 서비스 사용 권한을 주기 위해 IAM role 설정(신규/기존) 4. 회사 망 내에서 사용하기 위해 Advanced settings에서 VPC와 Subnet, 그리고 Security Group을 차례대로 설정 5. Create function 버튼 클릭! Lambda Function을 만들었으면, 이 함수를 실행하기 위한 Trigger Event가 필요하다. Trigger Event로는 API Gateway, SNS, EventBr..
-
[Linux] 리눅스 zip 압축 명령어개발Tip 2022. 2. 3. 22:37
1. ls 명령어를 쳤을 때 압축할 폴더가 있는(폴더 들어가지 X) 위치에서: zip -r {zip파일 생성 이름} {압축할 폴더 이름} zip -r python.zip python 2. 압축할 폴더 내부에서 zip 실행 시: cd python zip -r python.zip . https://stackoverflow.com/questions/40003310/zip-error-nothing-to-do zip error - Nothing to do I try to zip all folders in given directory. So I wrote this find /home/user/rep/tests/data/archive/* -maxdepth 0 -type d -exec zip -r "{}" \; but..
-
AWS Access Key, Secret Access Key 변경AWS 2022. 1. 26. 23:44
0. AWS CloudTrail에서 기존 access key의 활성화 상태 확인 1. EMR에서 사용중인 것 확인 Event Source IP 주소인 EMR_manager에 들어가서 Airflow DAG ML/DL학습 후 계속 떠있는 EMR cluster 삭제(클러스터 정리) 파일에서 사용하고 있는 AWS access/secret access key 확인 # EMR_cluster_manager.py client = boto3.client( 'emr', region_name='ap-northeast-2', aws_access_key_id=ACCESS_KEY, aws_secret_access_key=SECRET_KEY ) 해당 key를 새로운 grb_ds_default key로 대체하려고 했으나, crede..
-
실시간 Log 수집기 Apache NiFi 파이프라인 구축DataProcessing 2022. 1. 9. 23:53
{ 'newSession': 'True', 'actionCd': 'DI', 'memberId': '', 'goods': None, 'searchKwd': None, 'browserCd': 'ED', 'browserLang': 'KO', 'regDtm': '2021-11-16T17:38:56.833198', 'deviceCd': 'PC', 'orderNo': None, 'sessionSeq': 2, 'userSeq': 2, 'sessionUserSeq': 1, 'msgType': 'A', 'campaignTypeCd': 'CA', 'algorithmCd': None, 'category': None, 'prevStayTime': 0, 'pubCmpMap': { 'CAe6f969b01b8d4ae6b3996ac..
-
[Airflow] 에어플로우 worker 중단 현상 해결 Ver.2Airflow 2021. 12. 12. 12:47
문제발생 2021.12.09 기준 전날부터 딥러닝 모델 학습 DAG의 Task들이 돌지 않는 현상 발생. => 이는 Workstation에 있는 airflow worker가 작동하지 못하고 있기 때문. 1. Workstation worker 프로세스 확인 $ ps aux |grep rnn => 다행히 프로세스가 죽지 않고 정상 작동하고 있음을 확인. 2. airflow main 서버에서 scheduler와 redis 프로세스 확인. $ ps aux |grep scheduler $ ps aux |grep redis 3. airflow nohup.out 로그 확인 # workstation $ cd /data/airflow $ tail -100f nohup_dl_dags.out ⇒ 전날(21.12.08)에 인..
-
[모두를 위한 컴퓨터 과학] Ch6. 데이터 구조(Data Structure)Study/BoostCourse 2021. 11. 28. 22:32
https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 👉 이전 강의 https://ninano1109.tistory.com/195 [모두를 위한 컴퓨터 과학] Ch5. 메모리(Memory) https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 👉 이전.. ninano1109.tistory.com 1) mal..
-
[모두를 위한 컴퓨터 과학] Ch5. 메모리(Memory)Study/BoostCourse 2021. 11. 22. 22:47
https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 👉 이전 강의 https://ninano1109.tistory.com/192 [모두를 위한 컴퓨터 과학] Ch4. 알고리즘(Algorithm) https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 👉 이전.. ninano1109.tistory.com 1)..
-
[Airflow] 에어플로우 worker 중단 현상 해결Airflow 2021. 11. 19. 22:24
문제발생 모든 딥러닝 학습 DAG들이 실패해서 딥러닝 배포 Pipeline이 작동하지 않음. DAG 내부의 실패 Task들이 모두 모델 학습 Task들이어서 워크스테이션에서 돌고 있는 worker 중단 현상을 의심함. 원인파악 1. 워크스테이션 접속 후 airflow worker process 확인 $ ps -ef |grep worker ⇒ worker가 죽어있는 것 확인 ⇒ 만약 worker가 정상적으로 떠 있으면 다음과 같은 형태로 프로세스가 확인 되어야 함 2. worker를 nohup으로 돌리고 있으므로, nohup.out 파일에 남긴 마지막 로그 확인하기 # sudo find 위치 -이름 파일명 $ sudo find /data -name nohup.out ⇒ 여러경로에 여러개의 nohup.out..