https://help.smartchart.cn/docs/12.%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0/smartpip/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%BB%BB%E5%8A%A1/ Recent content on Smartchart开发手册 Hugo -- gohugo.io https://help.smartchart.cn/docs/12.%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0/smartpip/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%BB%BB%E5%8A%A1/%E5%B8%B8%E7%94%A8%E5%86%85%E7%BD%AE%E5%87%BD%E6%95%B0/ Mon, 01 Jan 0001 00:00:00 +0000 https://help.smartchart.cn/docs/12.%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0/smartpip/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%BB%BB%E5%8A%A1/%E5%B8%B8%E7%94%A8%E5%86%85%E7%BD%AE%E5%87%BD%E6%95%B0/ 简介 # SmartPip 提供丰富的内置函数，支持文件上传、数据获取、邮件发送、Shell 执行、SQL 执行、Kettle 任务等多种操作。通过 #diy 驱动调用自定义函数，实现灵活的任务逻辑。 常用内置函数速查 # 功能说明 函数说明 备注 文件上传 smart_upload(csvfilepath) 获取数据 get_dataset(id, param={}) 发送邮件 dash_mail(标题, 内容, 邮件列表) 执行shell run_bash(cmdStr) 执行datax run_datax(‘DAG名/任务名’, para_dict) 执行sql run_sql_file(‘DAG名/任务名’, db_connect=‘starrocks’, para_dict=None) 执行kettle run_kettle(‘DAG名/任务名.ktr’, para_str=’’) 执行SP run_sp(sp_name, sp_para=None, dev=’’, db_connect=‘oracle’) 注: para_dict为字典格式参数 https://help.smartchart.cn/docs/12.%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0/smartpip/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%BB%BB%E5%8A%A1/%E8%87%AA%E5%AE%9A%E4%B9%89%E5%BE%AA%E7%8E%AF%E6%8A%BD%E5%8F%96/ Mon, 01 Jan 0001 00:00:00 +0000 https://help.smartchart.cn/docs/12.%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0/smartpip/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%BB%BB%E5%8A%A1/%E8%87%AA%E5%AE%9A%E4%B9%89%E5%BE%AA%E7%8E%AF%E6%8A%BD%E5%8F%96/ 简介 # 当数据库中存在按时间后缀命名的分表（如 order_202001、order_202002），需要汇总到同一目标表时，可使用自定义循环抽取功能。通过 #diy 驱动结合 run_datax() 函数，实现灵活的多表循环同步。 实现步骤速查 # 步骤 操作 1 创建 DataX 抽取任务，配置参数占位符 2 创建 DIY 任务，编写循环逻辑 3 在 DAG 中编排任务依赖 使用方法 # smartpip中已有datax组件, 但只能进行单一表格抽取, 不能增加逻辑 所以我们需要使用到smartpip的diy组件功能 首先我们需要新一个datax抽取任务,在这个任务中我们传递参数ZYM, 比如: #datax job1 ZYM 之后再新一建一个diy任务, 实现循环抽取: ZYM = '202001' def fun_job2(): job = os.path.join(ETL_FILE_PATH , '项目名/job1.sql') report_time = datetime.date(2022,8,1) for i in range(600): zym = report_time.strftime('%Y%m') print(zym) if zym < '202001': break para_dict = {"ZYM": zym} run_datax(job, para_dict) report_time = (report_time - datetime. https://help.smartchart.cn/docs/12.%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0/smartpip/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%BB%BB%E5%8A%A1/%E8%8E%B7%E5%8F%96%E6%89%A7%E8%A1%8C%E5%8F%82%E6%95%B0/ Mon, 01 Jan 0001 00:00:00 +0000 https://help.smartchart.cn/docs/12.%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0/smartpip/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%BB%BB%E5%8A%A1/%E8%8E%B7%E5%8F%96%E6%89%A7%E8%A1%8C%E5%8F%82%E6%95%B0/ 简介 # SmartPip 基于 Airflow 构建，支持基于时间的任务回跑。通过 execution_date 等内置参数，可以获取任务的执行时间信息，用于实现时间维度的数据处理。 常用时间参数速查 # 参数 格式 说明 ds YYYY-MM-DD 任务执行日期 ds_nodash YYYYMMDD 无分隔符日期 yesterday_ds YYYY-MM-DD 昨天日期 tomorrow_ds YYYY-MM-DD 明天日期 prev_ds YYYY-MM-DD 上次执行日期 使用方法 # “execution_date” airflow能向任务传递的参数如下: {'conf': , 'dag': , 'dag_run':, 'ds': '2022-07-13', 'ds_nodash': '20220713', 'execution_date': DateTime(2022, 7, 13, 2, 4, 33, 244294, tzinfo=Timezone('+00:00')), 'inlets': [], 'macros': , 'next_ds': '2022-07-13', 'next_ds_nodash': '20220713', 'next_execution_date': DateTime(2022, 7, 13, 2, 4, 33, 244294, tzinfo=Timezone('+00:00')), 'outlets': [], 'params': {}, 'prev_ds': '2022-07-13', 'prev_ds_nodash': '20220713', 'prev_execution_date': DateTime(2022, 7, 13, 2, 4, 33, 244294, tzinfo=Timezone('+00:00')), 'prev_execution_date_success': , 'prev_start_date_success': , 'run_id': , 'task': , 'task_instance': , 'task_instance_key_str': , 'test_mode': False, 'ti': , 'tomorrow_ds': '2022-07-14', 'tomorrow_ds_nodash': '20220714', 'ts': '2022-07-13T02:04:33.