토스, 도메인별 DW Airflow와 dbt 기반 파이프라인 구축
실행은 도메인별로, 문맥은 한 레포에
토스 Data Warehouse 팀은 중앙 DW Airflow에서 도메인별 DW Airflow와 dbt 기반의 선언적 파이프라인으로 전환하는 과정을 공유했다. 새로운 시스템 '뉴타운'은 기존의 2,794줄의 DAG 코드를 100줄로 줄이고, 파이프라인 실행 시간을 4시간에서 2시간 30분으로 단축시켰다. 도메인별 클러스터를 운영하며, 각 도메인 팀이 자기 파이프라인을 관리할 수 있도록 했다. 기존 파이프라인과의 병행 운영을 통해 안정성을 확보하고, dbt를 통해 SQL 파일의 복잡성을 줄였다.
dbt는 SELECT 문만으로 테이블 생성과 적재를 자동으로 처리하며, 모델 간 의존 관계를 그래프로 관리해준다.
원문 출처
토스 테크 (Toss Tech)