[환경설정] spark 스파크 jupyter notebook 실행 설정

cmd창에서 spark(pyspark)를 실행했을 때

자동으로 jupyter notebook으로 열리게끔 설정하는 방법입니다.

 

0. jupyter 설치하기

$ pip install jupyter

 

1. 윈도우 환경 변수 설정=> 사용자 변수 추가

시스템 속성> 고급> 환경변수> 상단 사용자 변수 새로만들기 클릭> 변수이름, 변수 값 각각 입력하기

 

환경 변수 

변수 이름: PYSPARK_DRIVER_PYTHON
변수 값: jupyter

 

변수 이름: PYSPARK_DRIVER_PYTHON_OPTS
변수 값: 'notebook'

 

or

환경 변수 파일 내 설정

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

 

2. 환경 변수 변경 후 새로고침

새로운 cmd창에서 set 명령어 입력 => 현재 환경 변수 목록 출력되면서 갱신 내용 반영

 

3. Jupyter notebook 실행

다시 spark 명령어를(pyspark로 실행) 쳐보면

실행 명령어들이 나오면서 jupyter notebook이 자동으로 열립니다.

 

 

 

이상 오늘의 삽질일기 끝!

---

여기저기 삽질도 해보고

날려도 먹으면서

배우는 게

결국 남는거다

- Z.Sabziller