DataBase
-
[DB] RDS postgres DB 백업 및 복원하기(feat. pg_dump)DataBase 2023. 7. 17. 23:18
*RDS를 사용하게 된 계기: RDS는 이번에 airflow를 컨테이너에 올리면서 처음 사용해 보았습니다. ECS에서 airflow db용으로 mysql을 컨테이너로 띄웠다가, 컨테이너 서비스가 죽으면서 데이터를 다 날려먹은 멘붕😱의 사건을 겪고.. db는 절대 컨테이너로 띄우지 말자!는 교훈과 함께 다른 db 활용 방안에 대해 폭풍 리서치에 돌입했습니다. 그 중 AWS에서 DB를 대신 관리해주는 RDS가 대안책이 될 수 있다는 결론을 내렸고, 회사 내 다른 부서에서도 잘 사용하고 계시고 또 사용을 권장하셔서 RDS 테스트를 시작했습니다. 기존에는 airflow용 db로 mysql을 사용했지만, 공식문서에서 pg를 권장하기에 RDS에서는 pg를 사용했습니다. * RDS 설정 시 challenge한 요소..
-
[MySQL] docker 컨테이너 mysql 서버 error(feat. port 추가하기)DataBase/MySQL 2023. 3. 22. 23:05
docker mysql 이미지 빌드 후 컨테이너를 run하면, docker run -it image_id bash mysql 접속 시 아래와 같이 mysql이 실행되지 못하는 에러 발생 Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2) docker 프로세스를 확인해보면 port가 없는 것 확인 해결방안: 1. port를 추가하여 컨테이너 run 2. docker run {이미지} 실행 후 docker exec로 컨테이너 접속 - 이상 오늘의 삽질일기 끝! 여기저기 삽질도 해보고 날려도 먹으면서 배우는 게 결국 남는거다 - Z.Sabziller '쫄보의삽질' 블로그 탄생스토리가 궁금하다면: Git push..
-
[MySQL] mysql too many connection 에러 해결DataBase/MySQL 2023. 3. 3. 21:30
mysql이 ecs 컨테이너로 띄어있고 여러 서비스들(ex. airflow 클러스터)이 연결되어 있을 때, mysql이 허용가능한 클라이언트 수를 넘어가면 다음과 같은 connection 에러 발 문제상황 1. statsd service 추가 후 airflow webserver가 죽어버림 2. webserver log에 남겨진 에러메세지 sqlalchemy.exc.OperationalError: (MySQLdb.OperationalError) (1040, 'Too many connections') 해결방법 => mysql task definition에서 docker run command 추가 --max_connections=10000 ref. https://stackoverflow.com/question..
-
[MySQL] mysqlclient 설치 에러 해결 방법DataBase/MySQL 2022. 8. 15. 23:44
python3 에서 mysql db가 사용가능한 mysqlclient 모듈을 설치할 때, > pip install mysqlclient error: command 'gcc' failed with exit status 1 .. note: This error originates from a subprocess, and is likely not a problem with pip. error: legacy-install-failure Encountered error whie trying to install package. > mysqlclient 해당 에러가 나오면서 설치에 실패했다고 나옵니다. => Python 3 and MySQL 개발용 라이브러리 사전 설치 필요 For UBUNTU or Debian s..
-
Docker Hub Cassandra 공식 도커 이미지로 컨테이너 띄우기(feat. cqlsh 실행)DataBase/Cassandra 2021. 8. 5. 22:42
1. Docker 설치 https://ninano1109.tistory.com/160 Docker Ubuntu 도커 우분투 설치 (feat. docker 이미지 pull하기) 시스템 최신 업데이트 $ sudo apt update 사전 설치 진행 $ sudo apt install apt-transport-https ca-certificates curl software-properties-common Docker repository key 추가하기 $ curl -fsSL https://d.. ninano1109.tistory.com 2. Docker Cassandra 이미지 받기 $ docker pull cassandra 3. Cassandra docker container 실행하기 $ sudo docke..
-
Cassandra 3.11.3 버전 설치 Dockerfile 작성 및 컨테이너 실행(feat. sudo 명령어 X)DataBase/Cassandra 2021. 8. 2. 22:20
들어가기에 앞서.. Dockerfile 작성 중 중요한 포인트를 하나 발견했다! Dockerfile에는 sudo 명령어를 쓰지 않는다! bash: sudo: command not found 클라우드 환경에서 cassandra 관련 프로그램들을 설치할 때 sudo 명령어를 사용했어서 Dockerfile 작성 시 sudo를 붙였더니 error가 나서 구글링을 통해 Dockerfile에서는 sudo 명령어를 쓰지 않아도 됨을 알 수 있었다. https://stackoverflow.com/questions/39985480/unable-to-use-sudo-commands-within-docker-bash-sudo-command-not-found-is-di Unable to use sudo commands wit..
-
👀 Cassandra Keyspace, Table 스키마 생성(feat. Collection type, User-Defined type 생성)DataBase/Cassandra 2021. 7. 31. 23:53
1. KEYSPACE 생성 및 사용 cqlsh> CREATE KEYSPACE test with replication = {'class': 'SimpleStrategy', 'replication_factor':1}; cqlsh> use test; 2. Table 스키마 생성 cqlsh> CREATE TABLE stat (id text primary key, seedGoodsCode text, w2v_view list, w2v_purchase list, cf_item_to_item list, ml_item_to_item list, regDtm text); 3. 스키마 구조에 맞춰 데이터 삽입 > INSERT INTO stat JSON '{ "id" : "60c93", "seedGoodsCode" : "196..
-
[Cassandra 설치 #3] Cassandra 3.11 설치 및 Cqlsh 실행 오류 해결(feat. Cassandra-driver)DataBase/Cassandra 2021. 7. 26. 23:50
0. Apache Cassandra 공심홈에서 다운로드 ZIP 링크 가져오기 https://www.apache.org/dyn/closer.lua/cassandra/3.11.3/apache-cassandra-3.11.3-bin.tar.gz cassandra 여러가지 버전 다운로드 링크 http://archive.apache.org/dist/cassandra/?C=M;O=D 1. 다운로드 후 압축하기 위 링크에서 보이는 주소의 최신 버전으로 다운로드 진행 $ wget https://archive.apache.org/dist/cassandra/3.11.3/apache-cassandra-3.11.3-bin.tar.gz 2. 압축 해제하기 $ tar -xzvf apache-cassandra-3.11.3-bin.t..