전체 글
-
Cassandra 3.11.3 버전 설치 Dockerfile 작성 및 컨테이너 실행(feat. sudo 명령어 X)DataBase/Cassandra 2021. 8. 2. 22:20
들어가기에 앞서.. Dockerfile 작성 중 중요한 포인트를 하나 발견했다! Dockerfile에는 sudo 명령어를 쓰지 않는다! bash: sudo: command not found 클라우드 환경에서 cassandra 관련 프로그램들을 설치할 때 sudo 명령어를 사용했어서 Dockerfile 작성 시 sudo를 붙였더니 error가 나서 구글링을 통해 Dockerfile에서는 sudo 명령어를 쓰지 않아도 됨을 알 수 있었다. https://stackoverflow.com/questions/39985480/unable-to-use-sudo-commands-within-docker-bash-sudo-command-not-found-is-di Unable to use sudo commands wit..
-
👀 Cassandra Keyspace, Table 스키마 생성(feat. Collection type, User-Defined type 생성)DataBase/Cassandra 2021. 7. 31. 23:53
1. KEYSPACE 생성 및 사용 cqlsh> CREATE KEYSPACE test with replication = {'class': 'SimpleStrategy', 'replication_factor':1}; cqlsh> use test; 2. Table 스키마 생성 cqlsh> CREATE TABLE stat (id text primary key, seedGoodsCode text, w2v_view list, w2v_purchase list, cf_item_to_item list, ml_item_to_item list, regDtm text); 3. 스키마 구조에 맞춰 데이터 삽입 > INSERT INTO stat JSON '{ "id" : "60c93", "seedGoodsCode" : "196..
-
[Cassandra 설치 #3] Cassandra 3.11 설치 및 Cqlsh 실행 오류 해결(feat. Cassandra-driver)DataBase/Cassandra 2021. 7. 26. 23:50
0. Apache Cassandra 공심홈에서 다운로드 ZIP 링크 가져오기 https://www.apache.org/dyn/closer.lua/cassandra/3.11.3/apache-cassandra-3.11.3-bin.tar.gz cassandra 여러가지 버전 다운로드 링크 http://archive.apache.org/dist/cassandra/?C=M;O=D 1. 다운로드 후 압축하기 위 링크에서 보이는 주소의 최신 버전으로 다운로드 진행 $ wget https://archive.apache.org/dist/cassandra/3.11.3/apache-cassandra-3.11.3-bin.tar.gz 2. 압축 해제하기 $ tar -xzvf apache-cassandra-3.11.3-bin.t..
-
[Cassandra 설치 #2] Python2.7 파이썬 2점대 버전 설치 및 실행DataBase/Cassandra 2021. 7. 23. 23:08
Cassandra CLI 환경을 사용하기 위해서는 반드시 2.7버전 설치 필요!! 1. Python 2.7 버전 다운로드 https://www.python.org/downloads/source/ # CLI python 다운로드 $ wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz # 다운로드 폴더 압축 해제 $ tar -xzvf Python-2.7.11.tgz # 다운로드 파일 삭제 $ rm -rf Python-2.7.11.tgz 2. Python 2.7 소스 빌드 환경 구성 파이썬 실행을 위한 소스 빌드 환경 구성하기 $ cd Python-2.7.11 $ make install 💩 에러 메세지1 The program 'make' can b..
-
[Cassandra 설치 #1] 리눅스 JAVA 설치 (feat. Java SDK Java 8 버전)DataBase/Cassandra 2021. 7. 21. 19:25
0. JDK 8버전 패키지 설치(로컬 컴퓨터에서 사용할 경우) https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html 1. JDK 8버전 리눅스 설치 $ sudo apt-get update $ sudo apt-get install openjdk-8-jdk $ java -version openjdk version "1.8.0_292" OpenJDK Runtime Environment (build 1.8.0_292-8u292-b10-0ubuntu1~16.04.1-b10) OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode) 2. JAVA 환경 변수 설정 $ v..
-
[Docker] Ubuntu 도커 우분투 설치 (feat. docker 이미지 pull하기)Docker 2021. 7. 16. 08:50
시스템 최신 업데이트 $ sudo apt update 사전 설치 진행 $ sudo apt install apt-transport-https ca-certificates curl software-properties-common Docker repository key 추가하기 $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - $ sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable" $ sudo apt update Docker 설치 $ sudo apt install docker-ce Docker d..
-
[Airflow] 에어플로우 execution_date DAG 스케줄러 에러(feat.run_id)Airflow 2021. 7. 8. 22:31
🙊 문제상황 schedule로 돌리면 하루 전 날짜(-24H)가 찍혀서 출력됨 manual로 돌리면 정상 시간 출력 확인 🙈 원인파악 Airflow 내부 execution_date는 DAG 실행 예약 시간으로 DAG가 실행되는 시간에 다음 스케줄을 예약한다. 즉, execution_date은 실행날짜가 아닌 주문번호(run_id)의 개념. run_id: 예약을 잡으려고 시도한 시간 23일 schedule DAG 실행 -> 24일 schedule DAG 예약 -> 24일 schedule DAG 실행 run_id: 24일 🙉 문제해결 https://airflow.apache.org/docs/apache-airflow/stable/macros-ref.html#macros-reference Macros refe..
-
AWS ECS를 활용한 머신러닝 서비스 배포하기 #3 (feat. Task Definition, Service 생성)AWS/ECS 2021. 7. 4. 23:18
https://ninano1109.tistory.com/156 AWS ECS를 활용한 서비스 배포하기 #2 (feat. Security Group 생성) https://ninano1109.tistory.com/155 Create an empty cluster> Tag 입력 2. Load Balancer Dev/Prod Application Load Balancer Create> Name입력> Scheme: internet-facing> Listeners: HTTP/80> Availability.... ninano1109.tistory.com Task Definition Dev FARGATE> Task Definition Name: keyword-dev> Task Role 비워두기> Network Mode..