简介 #

SmartPip 支持通过 API 方式接入第三方数据源，定义标准 function 后即可在 DAG 中调用。本功能适用于需要从外部系统获取数据的场景。

接入流程速查 #

定义接入标准function #

假设API的返回格式为:
{'data':[{'a':1,'b':2},..]}
def _get_api_data(param):
    import json, requests
    param = json.loads(param)
    res = requests.post(url=url, json=param).json()['data']
    res = json.dumps(res).encode()
    return res

在api设定中 #

##apiConn=get_api_data
##param={ "p1": xxx,"p2":"xxxxx"}
##table= xxxx    --目标表名

--------- 通用参数[可选] ----------
##columns=a,b

--------- Json格式[可选] ----------
##format=json
##jsonpaths= a,b
##strip_outer_array=true

其它更多设定可以参考kafkastarrocks设定