BigQuery
-
[GCP] Google Cloud Functions cold start(함수 실행 지연 현상) 문제 해결(feat. Pub/Sub & BigQuery)GCP/Cloud Functions 2021. 9. 5. 23:45
🙊 배경설명 GCP에서 Pub/Sub 데이터를 BigQuery에 적재하기 위해 Cloud Functions를 사용하여 중간에서 데이터 전달 역할 로직을 구현했다. 반복적인 내부 소스코드를 수정(빅쿼리 테이블 필드 추가)하고 배포 하게되면, 배포 즉시 함수가 동작하지 않는 문제가 발생했다. 따라서 Cloud Functions 기본 로직에 대해 알아봅시다 💃 1. Cloud Functions = Severless fuction => 즉, Auto Scaling으로 트래픽에 맞는 인스턴스 수를 조정하여 함수 제공 2. GCP Cloud Functions의 인스턴스 시작 조건 함수를 새로 배포하는 경우 증가하는 트래픽을 처리하기 위해 인스턴스를 확장 또는 대체하는 경우 3. GCP Cloud Functions ..
-
[GCP] Google BigQuery 빅쿼리 Schema 설계(feat. json 타입)GCP/BigQuery 2021. 8. 31. 23:17
JSON 타입의 데이터를 BigQuery에 적재하려고 할 때 각 필드별 데이터 타입에 맞춰 테이블 스키마를 설계해야 하는데, 하위 레벨의 nested 구조로 이루어진 json 타입에 맞춰 스키마를 설정하는 방법입니다. Array : [] 리스트안에 string으로 이루어진 데이터 value 타입 id:”1", name:”abc”, age:”20", address_history: [“current”, “previous”, “birth”] BigQuery 스키마 여러개의 문자열들이 반복되어 이루어져 있으므로, Type: STRING Mode: REPEATED Struct: {} 딕셔너리 안에 여러개의 key-value 값들로 이루어진 데이터 id:”1", name:”abc”, age:”20", address..