AWS
-
AWS hosts 설정하기& AWS 서버 Spark 실행 오류AWS 2021. 3. 8. 22:28
1. AWS 서버에서 프로그램 실행 시 host 오류가 났을 때: sudo: unable to resolve host $ sudo su - $ sudo vi /etc/hosts # 상단에 아래 코드 입력 127.0.0.1 localhost 127.0.0.1 ip-##-###-##-### esc+ :wq로 저장+종료하기 2. AWS Spark 실행 오류 spark-shell, pyspark 명령어 입력 시 오류 메세지: java.net.UnknownHostException: ip-10-xxx-xx-xxx: ip-10-xxx-xx-xxx: Name or service not known hostname 형식을 '-' 에서 '.'으로 바꿔주기:) $ sudo hostname 10.xxx.xx.xxx $ host..
-
Python 파이썬 버전 변경 반영 (feat. AWS)개발Tip 2021. 2. 22. 23:07
기본 Python3 버전 설치 $ sudo apt-get install python3 => Python 3.6.9 설치 됨 python 3.7.5로 업데이트 하기 $ sudo apt update -y $ sudo apt install python3.7 $ sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.6 1 $ sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.7 2 기존 python3 경로에 접근하는 python3 별칭의 경로를 변경해주면서 3.6 버전을 1순위로, 3.7버전을 2순위로 지정하기 $ sudo update-alt..
-
[환경설정] Spark 설치 및 ubuntu 환경 설정 (feat.AWS)DataProcessing/Spark 2021. 2. 15. 23:24
Spark 설치 시 다음과 같은 프로그램들이 필요합니다. Spark 2.4.7 Java jdk 1.8_251 Scala 2.11.12 Hadoop 2.7.3 Python 3.7.5 (Pyspark 사용 시 필요) Spark 2.4.7 $ wget https://downloads.apache.org/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz $ tar xvf spark-* echo "export SPARK_HOME= ~/programs/Spark/spark-2.4.7-bin-hadoop2.7" echo "export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin" echo "export PYSPARK_PYTHON=/usr/bin/p..