쫄보의삽질 블로그 쫄보의삽질 블로그

스파크

• [Spark] Trend 분석 연관어 빈도수 구하기 (feat. 불용어 처리)

  DataProcessing/Spark 2021. 2. 6. 20:14

  총 2037건의 데이터 MongoDB 저장 후 연관어 빈도수 확인 및 불용어 처리하기 추측 단어들 리스트 위: 위.중증 형: 형집행정지 초: 올해 초, 초.중등 노: 노 마스크, 노 메이크업, 노 재팬 카: 카셰어링 융: 융.복합 거리두기의 경우 '거리' 와 '두기'로 나누어짐 => '거리두기'는 한 단어로 봐도 무방해보임 '두기'는 stopwords에 추가하고 거리 count를 '거리두기'로 반환 거리의 경우 거 와 리 로 나누어짐 => 거리일수도 있고, 코로나 우울(블루), 나만 그런 거 아니지? 와 같은 거의 사용이 있을 수 있다고 판단 확진자의 경우확과 진자로 나누어짐 => total count로 봤을 때, 비슷하다고 판단하여 확은 Stopwords에 포함시키고, 진자는 확진자로 바꾸어 DB 저장..

  Read More
• [Spark] 스파크 Dataframe 데이터프레임 가공하기

  DataProcessing/Spark 2021. 1. 31. 23:57

  모듈 import import findspark findspark.init() from pyspark import SparkContext from pyspark.sql import SQLContext ## Cassandra import os os.environ['PYSPARK_SUBMIT_ARGS'] = \ '--packages com.datastax.spark:spark-cassandra-connector_2.11:2.4.1' \ ' --conf spark.cassandra.connection.host=localhost:port pyspark-shell' sc = SparkContext(appName="app name") sqlContext = SQLContext(sc) CassandraDB 데이터 조..

  Read More
• [Spark] Tutorial #1 데이터 조회, 가공 & 데이터프레임 생성

  DataProcessing/Spark 2021. 1. 24. 23:09

  Text파일 읽어오기 & 라인(row) 수 반환 sc lines = sc.textFile("README.md") # 해당 폴더 안에 있는 README.md 파일 읽기 lines.count() # 해당 파일 라인 수 전체 텍스트 읽기 (collect 함수) lines.collect() 특정 단어 포함한 문장 반환하기 python_in_lines = lines.filter(lambda line: "Python" in line) python_in_lines.collect() RDD map함수 => 각 데이터 요소에 함수를 적용해 'map' 타입으로 변환 rdd = sc.textFile("README.md") rdd_map = rdd.map(lambda x: (x,1)) rdd_map.collect() 첫 5문..

  Read More
• Spark 개념 정리

  IT용어정리 2021. 1. 8. 00:03

  Spark input sources File source: txt, csv, json, orc 등 Kafka source: Kafka broker를 사용함 Socket source: UTF8 text data from socket connection(테스팅 목적으로만) Spark의 장점 unification of disparate 데이터 처리 능력 Spark streaming receivers가 병렬로 데이터를 받아서 스파크 workers nodes에 쌓으면, 스파크 엔진이 짧은 테스크를 돌려 배치 처리를 한다. 이는 곧 효율적인 로드밸런싱과 빠른 복구를 가능하게 한다. Stream processing 데이터들이 지속적으로 유입되고 나가는 과정에서 분석/SQL을 수행하는 것 데이터가 이동 중이거나, 생성..

  Read More