[Cassandra] Tutorial #1

• keyspace 조회

> DESC keyspaces

 

• keyspace 생성 (keyspace 이름: lab)

> create keyspace lab with replication = {'class': 'SimpleStrategy', 'replication_factor':1};

 

• lab keyspace 사용하기

> use lab;

## cqlsh 실행
cqlsh:lab>

 

 

movies data로 DB 생성하기

• Table 생성

> create table lab.movies (movie_id int primary key, title text, genres text);

## table 확인
> desc tables; 

 

• Data 로드

> copy movies(movie_id, title, genres) from 'C:\Users\Desktop\ml-latest\movies.csv' with header = true;

 

• 첫 5줄 확인

> select * from movies limit 5;

첫 5줄 row 조회

 

ratings data로 DB 생성하기

• Table 생성

> create table lab.ratings (user_id int, movie_id int, rating double, timestamp bigint, primary key((user_id), movie_id));

## table 확인
> desc tables; 

 

• Data 로드

> copy ratings(user_id, movie_id, rating, timestamp) from 'C:\Users\Desktop\ml-latest\ratings.csv' with header = true;

일부 데이터 삭제 후 진행

 

cassandra 연동

• cassandra connector 모듈

import os
os.environ['PYSPARK_SUBMIT_ARGS'] = \
    '--packages com.datastax.spark:spark-cassandra-connector_2.11:2.4.1' \
    ' --conf spark.cassandra.connection.host=localhost pyspark-shell'

 

*  ' --conf spark.cassandra.connection.host=localhost pyspark-shell'

에서 --conf에서 앞에 꼭 스페이스를 띄어주어야 한다.

 

• 버전 error (version compatibility issue)

NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
...
Caused by: java.lang.NoClassDefFoundError:
org/apache/spark/sql/catalyst/package$ScalaReflectionLock$

 

=> 해결방법: 위에서 설정한 sparkspark-cassandra-connector 모듈 버전 변경하기

_2.11:2.0.0-M3 => _2.11:2.4.1

 

• Cassandra DB 데이터 조회 성공

 

- 이상 오늘의 삽질일기 끝!

 

 

---

여기저기 삽질도 해보고

날려도 먹으면서

배우는 게

결국 남는거다

- Z.Sabziller