쫄보의삽질 블로그 쫄보의삽질 블로그

분류 전체보기

• Mac 맥 Homebrew 설치

  개발Tip 2021. 4. 14. 23:23

  Homebrew란? 맥주잔에 사과가 담겨있는 로고에서 Apple의 정체성을 확인할 수 있음. Software 패키지 관리 시스템으로 macOS와 Linux에서 각종 소프트웨어 설치를 간편하게 할 수 있게 도와주는 관리자입니다. Homebrew라는 이름은 Mac에서 사용자의 기호에 따라 소프트웨어를 빌드할 수 있다는 아이디어에서 나왔습니다. 1. Homebrew 설치 https://brew.sh/index_ko Homebrew The Missing Package Manager for macOS (or Linux). brew.sh 위 링크로 들어가서 Homebrew 설치하기 밑의 코드를 복사하고 터미널(command+space terminal 검색)에 입력합니다. $ /bin/bash -c "$(curl -..

  Read More
• Linux 리눅스 명령어 정리

  개발Tip 2021. 4. 11. 20:03

  실행 프로세스 확인하기 $ ps # 현재 수행 프로세스 목록 확인 $ ps -ef # 전체 프로세스 확인 $ ps -ef|grep airflow # airflow가 포함된 문자열 process 출력 $ ps -ef|grep worker # worker가 포함된 문자열 process 출력 백그라운드에서 중단 없이 webserver 실행하기 $ nohup airflow webserver & nohup(no hang up): 중단 없이 실행하기(데몬 형태로) &: 백그라운드에서 실행하기(터미널에서 다른 작업 동시 실행 가능) 프로세스 종료 $ ps -ef|grep my_script.sh # 프로세스 아이디 확인(2번째 숫자) $ kill -9 {process ID} 당신이 어떤 것을 할머니에게 설명해주지 못한..

  Read More
• 웹 브라우저 주소창에 URL을 입력하면 일어나는 일 (feat. DNS, IP주소)

  IT용어정리 2021. 3. 15. 23:47

  1. 브라우저: "www.naver.com에 연결이 필요해" 2. DNS(1): "www.naver.com" 도메인은 내 DB나 캐시에 없어. 다른 DNS 서버에서 찾아볼께!" 3. DNS(2): "그거 내 캐시에 있어! 연결된 IP 주소는 01.23.456.78야" 4. DNS(1): "훌륭해! 누군가 이 IP 주소를 또 찾을 수도 있으니깐 내가 잠시 캐시에 저장해놓을께!" 5. 브라우저: "고마워 친구들! 이제 내가 원하는 정보들을 서버에서 응답받아야겠어!" 브라우저는 www.naver.com이라는 도메인 이름에 해당하는 IP 주소를 찾기 위해 다음의 작업들을 수행합니다: 1) 브라우저 캐시를 참조합니다. 만약 없다면, 2) hosts 파일을 참조합니다. 만약 없다면, 3) DNS 서버를 통해 조회합..

  Read More
• 코딩테스트 연습> JOIN> 있었는데요 없었습니다

  SQL/Programmers 2021. 3. 10. 23:40

  코딩테스트 연습 - 있었는데요 없었습니다 ANIMAL_INS 테이블은 동물 보호소에 들어온 동물의 정보를 담은 테이블입니다. ANIMAL_INS 테이블 구조는 다음과 같으며, ANIMAL_ID, ANIMAL_TYPE, DATETIME, INTAKE_CONDITION, NAME, SEX_UPON_INTAKE는 각각 동물의 아이디 programmers.co.kr 문제설명: 'ANIMAL_INS' 테이블과 'ANIMAL_OUTS' 테이블이 주어지고 두 테이블은 ANIMAL_ID를 공유한다. 보호 시작일보다 입양일이 더 빠른 동물을 구해야 하므로 두 테이블을 INNER JOIN으로 묶은 다음 'ANIMAL_INS'의 DATETIME와 'ANIMAL_OUTS'의 DATETIME을 비교해서 조건에 일치하는 동물의 ..

  Read More
• 코딩테스트 연습> 그래프 > 순위

  ALGORITHM/Programmers 2021. 3. 9. 18:46

  코딩테스트 연습 - 순위 5 [[4, 3], [4, 2], [3, 2], [1, 2], [2, 5]] 2 programmers.co.kr 문제설명: results 배열 안에 A,B 두 선수가 리스트로 담겨있고, A>B 앞에있는 숫자(A)가 뒤에오는 숫자(B)를 이겼다는 의미이다. 예제로 나와있는 results의 경우 [[4, 3], [4, 2], [3, 2], [1, 2], [2, 5]] 이므로, 4 > 3 4 > 2 3 > 2 1 > 2 2> 5 이고 이를 다시 정리해본다면 4 > 3 > 2 4 > 2 > 5 1 > 2 의 구조로 살펴볼 수 있다. 즉 win과 lose 딕셔너리를 생성한 다음 아래와 같은 구조로 값을 저장한다: 1. win에는 나(Key): 나에게 진사람들(Value) 2. lose에는..

  Read More
• AWS hosts 설정하기& AWS 서버 Spark 실행 오류

  AWS 2021. 3. 8. 22:28

  1. AWS 서버에서 프로그램 실행 시 host 오류가 났을 때: sudo: unable to resolve host $ sudo su - $ sudo vi /etc/hosts # 상단에 아래 코드 입력 127.0.0.1 localhost 127.0.0.1 ip-##-###-##-### esc+ :wq로 저장+종료하기 2. AWS Spark 실행 오류 spark-shell, pyspark 명령어 입력 시 오류 메세지: java.net.UnknownHostException: ip-10-xxx-xx-xxx: ip-10-xxx-xx-xxx: Name or service not known hostname 형식을 '-' 에서 '.'으로 바꿔주기:) $ sudo hostname 10.xxx.xx.xxx $ host..

  Read More
• AWS 우분투 JAVA openJDK 확인 및 삭제(feat. 패키지 의존성 해결)

  AWS 2021. 3. 5. 23:50

  Java 패키지 확인 $ sudo update-alternatives --config java $ dpkg -l | grep openjdk Java 패키지 삭제 $ sudo dpkg -r {패키지이름} JAVA JDK 삭제 시 아래와 같은 의존성 관련 오류가 발생함: dpkg: dependency problems prevent removal of {패키지이름}: {의존 패키지이름} depends on {패키지이름} 따라서 의존 패키지를 먼저 삭제 후 다시 시도를 해야 합니다. $ sudo dpkg -r {의존 패키지이름} $ sudo apt-get autoremove openjdk-11-jdk $ sudo apt-get purge openjdk* Java 경로 조회 unix.stackexchange.co..

  Read More
• [Spark] Pyspark 데이터프레임 Shape(column) & Size(row) 구하기

  DataProcessing/Spark 2021. 3. 3. 22:57

  Spark dataframe row count dataframe.count() dataframe column(Shape)과 row(Size)개수 count print((dataframe.count(), len(dataframe.columns))) # row, column print - 이상 오늘의 삽질일기 끝! 여기저기 삽질도 해보고 날려도 먹으면서 배우는 게 결국 남는거다 - Z.Sabziller

  Read More