병렬화
반응형
-
[Airflow] 에어플로우 DAG Dynamically Generate Serial Tasks (feat. 직렬화 처리)Airflow 2021. 9. 24. 22:58
배경설명 Airflow DAG task들을 생성할 때, 동일한 유형의 task들을 for문으로 처리하여 직렬화하고자 함. 단순 병렬화(Parallel) 처리라면, 아래와 같이 사용할 수 있음. rfm_clustering_tasks = [] for rfm_module in py_execute_biz_modules["RFM"]: rfm_clustering_task = EmrAddStepsOperator( task_id="rfm_clustering_{}_emr".format(rfm_module), job_flow_id=created_job_flow_id, aws_conn_id="aws_default", queue="main", steps=get_pyspark_execute_rfm(rfm_module), dag..