분류 전체보기
-
[모두를 위한 컴퓨터 과학] Ch4. 알고리즘(Algorithm)Study/BoostCourse 2021. 11. 13. 21:56
https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 👉 이전 강의 https://ninano1109.tistory.com/189 [모두를 위한 컴퓨터 과학] Ch3. 배열(Array) https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 https:.. ninano1109.tistory.com 0) 알고리..
-
[모두를 위한 컴퓨터 과학] Ch3. 배열(Array)Study/BoostCourse 2021. 11. 5. 23:32
https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 👉 이전 강의 https://ninano1109.tistory.com/188 Ch2. C언어 https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 https:.. ninano1109.tistory.com 1. Compiling preprocessing #..
-
[모두를 위한 컴퓨터 과학] Ch2. C언어Study/BoostCourse 2021. 10. 29. 23:27
https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 👉 이전 강의 https://ninano1109.tistory.com/185 Ch1. 컴퓨팅 사고(Computational Thinking) https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 1. Comp.. ninano1109.tistory.com ..
-
Memory 메모리 체크 Linux 명령어(Feat. RAM, GPU)개발Tip 2021. 10. 22. 22:01
RAM Memory $ free RAM Memory(GB) $ free -h RAM Memory 조회(every 2s/GB) $ watch free -h RAM Memory 조회(every 1s/GB) $ watch -n 1 free -h GPU 조회(every 2s) $ watch nvidia-smi GPU 조회(every 1s) $ nvidia-smi -l 1 당신이 어떤 것을 할머니에게 설명해주지 못한다면, 그것은 진정으로 이해한 것이 아니다. - A.Einstein
-
[GCP] GOOGLE_APPLICATION_CREDENTIALS path 설정하기(Feat. Dataflow, BigQuery)GCP 2021. 10. 19. 21:24
Pub/Sub, Dataflow, BigQuery를 활용한 데이터 실시간 처리 파이프라인을 구축하는 과정에서 다음과 같은 에러를 만났다. raise exceptions.DefaultCredentialsError google.auth.exceptions.DefaultCredentialsError: Could not automatically determine credentials. Please set GOOGLE_APPLICATION_CREDENTIALS or explicitly create credentials and re-run the application. GCP 서비스를 로컬에서 실행하기 위해서는 GCP 인증 정보가 필요하다. 따라서 인증 절차 없이 프로그램을 실행하면 에러가 난다. 먼저, 아래 링크..
-
[모두를 위한 컴퓨터 과학] Ch1. 컴퓨팅 사고(Computational Thinking)Study/BoostCourse 2021. 10. 11. 22:08
https://www.boostcourse.org/cs112/joinLectures/41307 모두를 위한 컴퓨터 과학 (CS50 2019) 부스트코스 무료 강의 www.boostcourse.org 💃 해당 강의를 듣고 스터디용으로 정리한 내용들입니다 💃 1. Computational Thinking 1) 2진법 computer science: to solve problems input -> [] -> output binary: 0과 1의 조합 bit(비트): 2진법에서 하나의 자릿수를 나타냄(binary digit) 비트 한개로는 많은 양의 데이터를 나타내기에는 역부족 ex) 8bit = 1 Byte => 여러 숫자의 조합을 나타내기 위해 비트열을 사용함 bit 1개는 0 or 1로 표현될 수 있기에,..
-
Dataflow 개념 정리GCP/Dataflow 2021. 10. 4. 13:59
Dataflow란? ✅ Serverless ✅ Fast ✅ Cost-Effective ✅ Stream/Batch Streaming 스트리밍 변환은 데이터가 도착할때 추가적인 데이터와 함께 반환하거나, Filter 를 거쳐서 해당 데이터만 반환하는 특징. Batch 많은 데이터(GB/TB)를 가져와서 데이터끼리 결합하여 의미 있는 데이터를 산출하는 과정. Apache Beam이란? 이러한 로직들을 구현하게 도와주는것이 Apache Beam=Batch+Stream. 구글 내부의 스트리밍 처리 framework, open source ⇒ 이를 실행하기 위한 런타임 엔진인 DataFlow 그래서 Apache Beam으로 데이터 파이프라인을 구축하는 방법에 대해 알아야 한다. Apache Beam에서 파이프라인은..
-
[Airflow] 에어플로우 DAG Dynamically Generate Serial Tasks (feat. 직렬화 처리)Airflow 2021. 9. 24. 22:58
배경설명 Airflow DAG task들을 생성할 때, 동일한 유형의 task들을 for문으로 처리하여 직렬화하고자 함. 단순 병렬화(Parallel) 처리라면, 아래와 같이 사용할 수 있음. rfm_clustering_tasks = [] for rfm_module in py_execute_biz_modules["RFM"]: rfm_clustering_task = EmrAddStepsOperator( task_id="rfm_clustering_{}_emr".format(rfm_module), job_flow_id=created_job_flow_id, aws_conn_id="aws_default", queue="main", steps=get_pyspark_execute_rfm(rfm_module), dag..