쫄보의삽질 블로그 쫄보의삽질 블로그

카산드라

• 👀 Cassandra Keyspace, Table 스키마 생성(feat. Collection type, User-Defined type 생성)

  DataBase/Cassandra 2021. 7. 31. 23:53

  1. KEYSPACE 생성 및 사용 cqlsh> CREATE KEYSPACE test with replication = {'class': 'SimpleStrategy', 'replication_factor':1}; cqlsh> use test; 2. Table 스키마 생성 cqlsh> CREATE TABLE stat (id text primary key, seedGoodsCode text, w2v_view list, w2v_purchase list, cf_item_to_item list, ml_item_to_item list, regDtm text); 3. 스키마 구조에 맞춰 데이터 삽입 > INSERT INTO stat JSON '{ "id" : "60c93", "seedGoodsCode" : "196..

  Read More
• [Cassandra] Tutorial #1

  DataBase/Cassandra 2021. 2. 9. 23:35

  keyspace 조회 > DESC keyspaces keyspace 생성 (keyspace 이름: lab) > create keyspace lab with replication = {'class': 'SimpleStrategy', 'replication_factor':1}; lab keyspace 사용하기 > use lab; ## cqlsh 실행 cqlsh:lab> movies data로 DB 생성하기 Table 생성 > create table lab.movies (movie_id int primary key, title text, genres text); ## table 확인 > desc tables; Data 로드 > copy movies(movie_id, title, genres) from 'C:\..

  Read More
• [Spark] 스파크 Dataframe 데이터프레임 가공하기

  DataProcessing/Spark 2021. 1. 31. 23:57

  모듈 import import findspark findspark.init() from pyspark import SparkContext from pyspark.sql import SQLContext ## Cassandra import os os.environ['PYSPARK_SUBMIT_ARGS'] = \ '--packages com.datastax.spark:spark-cassandra-connector_2.11:2.4.1' \ ' --conf spark.cassandra.connection.host=localhost:port pyspark-shell' sc = SparkContext(appName="app name") sqlContext = SQLContext(sc) CassandraDB 데이터 조..

  Read More
• [Cassandra] 카산드라 3.9 버전 설치 및 실행 오류 해결 (feat. Java jdk1.8.0_251, Python2.7 버전)

  DataBase/Cassandra 2021. 1. 10. 23:15

  눈이 매력적인 cassandra 당신. 아름다운 그대의 눈동자에 치얼스..🍷 Cassandra는 빅데이터 처리를 위한 분산형 DB로서 대규모로 확장이 가능한 NoSQL DB입니다. 기존 RDBMS의 단점 중 하나인 데이터 규모가 증가하면서 확장의 어려움이 있는 부분을 해결하기 위해 사용되며 SQL과 유사한 CQL(Cassandra Query Language)을 사용하여 데이터를 조회하거나 변경 및 저장을 할 수 있습니다. 프로그램 설치 1. 먼저 Cassandra를 설치해야합니다. 저는 cassandra 3.9 버전을 설치했습니다. (3.11 버전 설치 참고) https://ninano1109.tistory.com/163 [Cassandra 설치 #3] Cassandra 설치 및 Cqlsh 실행 오류 해..

  Read More