[Spark Streaming] spark-streaming-kafka 실행 오류 해결 (feat. 파일 경로 옮기기)

 

Spark Streaming App 실행 시 오류:

Spark Streaming's Kafka libraries not found in the class path. Try one of the following.

 

spark-streaming-kafka

1. spark-submit 명령어에 spark-streaming-kafka 버전 추가해주기

Include the Kafka library and its dependencies with in the spark-submit command as
$ bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.4.7 spark_consumer.py(실행파일)

 

2. spark-streaming-kafka-0-8-assembly_2.11-2.4.7.jar 파일 다운로드 후 spark-submit 명령어에 추가하기

Download the JAR of the artifact from Maven Central http://search.maven.org/, Group Id = org.apache.spark, Artifact Id = spark-streaming-kafka-0-8-assembly, Version = 2.4.7.
Then, include the jar in the spark-submit command as
$ bin/spark-submit --jars <spark-streaming-kafka-0-8-assembly.jar>

 

 

두 가지 방법 모두 실패 => 해결방법:

spark-streaming-kafka-0-8-assembly_2.11-2.4.7.jar 파일을 Spark 프로그램 폴더 안에 jars 폴더로 옮겨주기

 

$ mv {옮길 파일명} {옮길 경로}

$ mv spark-streaming-kafka-0-8-assembly_2.11-2.4.7.jar ~/programs/Spark/spark-2.4.7-bin-hadoop2.7/jars

 

 

- 이상 오늘의 삽질일기 끝!

 

---

여기저기 삽질도 해보고

날려도 먹으면서

배우는 게

결국 남는거다

- Z.Sabziller