PIP
-
[환경설정] Spark 설치 및 ubuntu 환경 설정 (feat.AWS)DataProcessing/Spark 2021. 2. 15. 23:24
Spark 설치 시 다음과 같은 프로그램들이 필요합니다. Spark 2.4.7 Java jdk 1.8_251 Scala 2.11.12 Hadoop 2.7.3 Python 3.7.5 (Pyspark 사용 시 필요) Spark 2.4.7 $ wget https://downloads.apache.org/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz $ tar xvf spark-* echo "export SPARK_HOME= ~/programs/Spark/spark-2.4.7-bin-hadoop2.7" echo "export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin" echo "export PYSPARK_PYTHON=/usr/bin/p..
-
Python 파이썬 가상환경 setting (feat.virtualenv, python -m venv)개발Tip 2020. 12. 30. 01:20
pip 패키지 관리를 위해 프로젝트마다 가상환경 설치 후 개발 할 것! https://medium.com/@dan_kim/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%B4%88%EC%8B%AC%EC%9E%90%EB%A5%BC-%EC%9C%84%ED%95%9C-pip-%EA%B7%B8%EB%A6%AC%EA%B3%A0-virtualenv-%EC%86%8C%EA%B0%9C-a53512fab3c2 개발을 하기 앞서 아래 명령어로 내 컴퓨터에 설치되어 있는 패키지 리스트를 볼 수 있습니다. $ pip list 앞서 (가상환경 없이)개발했던 프로젝트들이 있다면, 많은 패키지 리스트를 볼 수 있는데, 완전 새로운 프로젝트를 시작할 때 전혀 필요하지 않은 패키지들일 수 있습니다. 청소를 해봅시다. 아래 명..