[Spark] 스파크 Dataframe 데이터프레임 가공하기

• 모듈 import

import findspark
findspark.init()

from pyspark import SparkContext
from pyspark.sql import SQLContext

## Cassandra
import os
os.environ['PYSPARK_SUBMIT_ARGS'] = \
    '--packages com.datastax.spark:spark-cassandra-connector_2.11:2.4.1' \
    ' --conf spark.cassandra.connection.host=localhost:port pyspark-shell'
    

sc = SparkContext(appName="app name")
sqlContext = SQLContext(sc)

 

• CassandraDB 데이터 조회 후 Dataframe생성(filter by column name)

dataframe = sqlContext.read\
        .format("org.apache.spark.sql.cassandra")\
        .options(table=table, keyspace=keyspace)\
        .load() \
        .filter((col("topic")=="covid-19") & (col("datehour")=="-1280455"))  

 

• Dataframe column 삭제

# remove 'matchin_rules' column
dataframe = dataframe.drop('matching_rules')

 

• Dataframe 특정 column 조회

dataframe = dataframe.select("topic", "message", "author_id", "place_id", "source", "referenced_tweets", "includes")

 

• Dataframe summary 통계치 구하기

# summary statistics
tweets.describe().show()  # dataframe 출력

• 특정 column으로 row 개수 count하기

# count user_id
tweets_author = tweets.select("author_id")
user_id = tweets_author.distinct().count()  # int값 반환

# count region
tweets_place = tweets.groupBy("place_id").count()
tweets_place.show()

# count source
tweets_source = tweets.groupBy("source").count()
tweets_source.show()

 

 

 

- 이상 오늘의 삽질일기 끝!

 

---

여기저기 삽질도 해보고

날려도 먹으면서

배우는 게

결국 남는거다

- Z.Sabziller