mini_cloud

Python Operator with XcomXcom (Cross Communication)airflow DAG 안 Task 간 데이터 공유를 위해 사용되는 기술ex) task1의 수행 중 내용이나 결과를 task2에서 사용 또는 입력으로 주고 싶은 경우주로 작은 규모의 데이터 공유를 위해 사용Xcom 내용은 메타 DB의 xcom 테이블에 값이 저장됨1GB 이상의 대용량 데이터 공유를 위해서는 외부 솔루션이 필요함 (s3, HDFS 등...)xcom 사용 방법1. **kwargs에 존재하는 ti(task_instance) 객체 활용task_ids를 명시해주지 않으면 가장 최근에 push한게 불러와지기에, task_ids를 통해 id를 명시해줘야함 2. 파이썬 함수의 return 값 활용 실습을 해보자i..

Jinja Template문서(파일)에서 특정 양식으로 작성된 값을 런타임시 실제 값으로 치환해주는 처리 엔진여러 엔진이 존재하지만, 파이썬에서는 Jinja를 사용함ex) HTML 템플릿 저장 후 화면에 보여질 때 실제 값으로 변환해서 출력함SQL 작성시에도 활용 가능select * from tables where base_dt = {{ }}이 select 구문을 템플릿으로 만들고 매일 변경되는 날짜만 필터 조건으로 설정을 해주면 됨https://airflow.apache.org/docs/apache-airflow/stable/templates-ref.html Templates reference — Airflow 3.0.4 Documentation airflow.apache.orgdocs 보면서 제공되는..