Smartpip

简介 #

SmartPip(数据中台任务调度模块)是 SmartChart 的企业级数据调度中心,支持可视化 DAG 工作流编排、定时任务调度、数据质量监控等功能。基于 Apache Airflow 构建,提供丰富的数据抽取、转换、加载(ETL)驱动。

核心特性 #

特性 说明
DAG 可视化编排 拖拽式任务依赖设计
丰富的数据源 支持 MySQL、Hive、Impala、Oracle、Kafka、DataX 等
定时调度 支持 Cron 表达式灵活配置
数据质量 内置数据校验和告警机制
跨 DAG 依赖 支持 DAG 间任务依赖