foreachRDD
반응형
-
[Spark Streaming] Kafka TransformedDStream 변환하기DataProcessing/Spark 2021. 2. 19. 23:42
Kafka에서 받아온 메시지를 json으로 직접적인 변환을 하려고 하면 다음과 같은 에러 발생: "TypeError: 'TransformedDStream' object is not iterable" "TypeError: 'TransformedDStream' object is not subscriptable" Expecting value: line 1 column 1 (char 0) *DStream 타입은 연속적인 RDD 배열로서, 연속적인 스트리밍 데이터를 의미한다. 여기에서는 Kafka에서 데이터를 실시간으로 받아오면서 생성된다. 따라서 foreachRDD를 사용해서 DStream 각 RDD에 접근하여 임의의 연산 수행이 가능하게 해줍니다. print((message)) => print(type(mes..