简介 #
SmartPip(数据中台任务调度模块)是 SmartChart 的企业级数据调度中心,支持可视化 DAG 工作流编排、定时任务调度、数据质量监控等功能。基于 Apache Airflow 构建,提供丰富的数据抽取、转换、加载(ETL)驱动。
核心特性 #
| 特性 | 说明 |
|---|---|
| DAG 可视化编排 | 拖拽式任务依赖设计 |
| 丰富的数据源 | 支持 MySQL、Hive、Impala、Oracle、Kafka、DataX 等 |
| 定时调度 | 支持 Cron 表达式灵活配置 |
| 数据质量 | 内置数据校验和告警机制 |
| 跨 DAG 依赖 | 支持 DAG 间任务依赖 |