[Spark Streaming] Kafka TransformedDStream 변환하기

Kafka에서 받아온 메시지를 json으로 직접적인 변환을 하려고 하면 다음과 같은 에러 발생:

"TypeError: 'TransformedDStream' object is not iterable"
"TypeError: 'TransformedDStream' object is not subscriptable"
Expecting value: line 1 column 1 (char 0)

 

*DStream 타입은 연속적인 RDD 배열로서, 연속적인 스트리밍 데이터를 의미한다.

여기에서는 Kafka에서 데이터를 실시간으로 받아오면서 생성된다.

 

따라서 foreachRDD를 사용해서 DStream 각 RDD에 접근하여 임의의 연산 수행이 가능하게 해줍니다.

 

print((message)) => <pyspark.streaming.dstream.TransformedDStream object at 0x7f9e7416a190>
print(type(message)) => <class 'str'>

 

RDD를 Json으로 변환하기 위해 handle_rdd()함수 생성

 

ninano1109.tistory.com/107

[Spark] 데이터프레임 모든 컬럼 json으로 가공 & 데이터프레임 딕셔너리 내부 value값 dict 변환

 

 

Twitter API 데이터 건수 확인(5초 당)

• [코로나] : 2/2/4/6/5

• [covid] : 81/82/104/93/79/82

• [covid, COVID-19] : 103/121/103/108/88/92/85/100/89/95

• [covid, COVID-19, coronavirus] : 103/121/103/108/88/92/85/100/89/95

 

 

- 이상 오늘의 삽질일기 끝!

 

---

여기저기 삽질도 해보고

날려도 먹으면서

배우는 게

결국 남는거다

- Z.Sabziller