JSON
-
[Spark Streaming] PySpark 데이터프레임 모든 컬럼 json으로 변환 & 데이터프레임 딕셔너리 내부 value값 dict 변환DataProcessing/Spark 2021. 2. 25. 23:44
트위터 API로 받아오는 데이터 형태가 딕셔너리 내부에 딕셔너리가 있고, 또 리스트 value 값 안에 딕셔너리가 포함되어 있는 다중구조이므로 딕셔너리 내부 값들에 접근해야 할 필요가 있었습니다. 따라서 먼저 Kafkaf에서 실시간으로 받아오는 데이터를 개별적 RDD로 접근하여 데이터프레임을 생성하고 데이터프레임의 컬럼(트윗 데이터 key값들)을 하나로 합친 새로운 컬럼을 생성하고 저장한 다음 다시 조회하여 딕셔너리 형태로 가공 후 내부 value값들 또한 딕셔너리로 변환하는 데이터 접근 방식을 시도했습니다. dataframe 생성 from pyspark.sql import SparkSession dataframe = SparkSession.createDataFrame(rdd, schema = ['col..
-
[Python] URL Shortener #1 (feat. Django, Postman검증)Backend/Django 2021. 1. 4. 01:41
url shortener 웹 페이지 개발을 위한 삽질 기록입니다. https://bitly.com/ Bitly | Custom URL Shortener, Link Management & Branded Links Shorten, create and share trusted, powerful links for your business. Bitly's url and link shortener helps you with industry-leading features like custom domains, branded link and link redirects. bitly.com 위 사이트 처럼 url shortener를 만들어 긴 주소의 url을 압축해서 반환해주는 기능의 웹 페이지를 만들어 보겠습니다. url..