Releases: hw2499/etl-engine
Releases · hw2499/etl-engine
etl-engine_v1.1.4
- etl-engine v1.1.4
当前版本最后编译时间20230622 - 技术支持
vx:weigeonlyyou - 修改轨迹
- etl_engine 为开发人员提供生成UUID字符串接口 common.GetUUID,
- etl_engine 为开发人员提供获取日志能力接口 common.GetLogger ,通过common.GetLogger().Infoln("输出日志")
- etl_engine 增加mq消费者(KAFKA)SASL认证功能(saslUserName和saslPassword属性)。
- etl_engine 增加mq消费者(KAFKA)指定分区数进行消费功能(allPartition和partition)。
etl-engine_v1.1.3
- etl-engine v1.1.3
当前版本最后编译时间20230515 - 技术支持
vx:weigeonlyyou - 修改轨迹
- etl_designer 增加融合节点配置功能。
- etl_designer 增加服务心跳日志浏览功能。
- etl_crontab 增加初始化服务心跳日志功能。
etl-engine_v1.1.2
- etl-engine v1.1.2
当前版本最后编译时间20230404 - 技术支持
vx:weigeonlyyou - 修改轨迹
- etl_engine 增加 Kafka消费者和生产者SASL认证功能。
- etl_engine 增加 融合查询节点FEDERATION_READER。
- etl_engine 为开发人员提供流式计算查询API common.CommonFusionQuery ,MQ_CONSUMER 节点+common.CommonFusionQuery组合 实现流式计算查询。
- etl_engine 增加MQ_CONSUMER节点心跳功能。
- etl_engine 增加HTTP_INPUT_SERVICE节点心跳功能。
- etl_crontab 增加心跳功能配置解析等功能。
etl-engine_v1.1.1
- etl-engine v1.1.1
快速上手
etl_crontab使用说明
当前版本最后编译时间20230310 - 技术支持
vx:weigeonlyyou - 修改轨迹
- etl_engine 提供 读Hive节点(kerberos认证需要linux版本,请联系作者)。
- etl_engine 提供 增量对比节点 (目前支持写sql语句的数据源)。
- etl_engine 增加 HTTP_INPUT_SERVICE节点的Basic认证能力。
- etl_designer 提供 读Hive节点、 增量对比节点 配置能力。
- etl_engine 为开发人员提供发送邮件接口common.SendMail 。
- 增加etl-engine配置样例文档 etl-engine配置样例。
etl-engine_v1.1.0
- etl-engine v1.1.0
快速上手
etl_crontab使用说明
当前版本最后编译时间20230127 - 技术支持
vx:weigeonlyyou - 修改轨迹
- etl_engine 提供 读elasticsearch节点、写elasticsearch节点(测试环境elastic V8.5.2、elastic V7.17.6)
- etl_engine 提供 Graph根节点判断能力,在
<BeforeRun>
标签中嵌入go脚本,实现对整体任务执行能力的判断,参看 嵌入go脚本开发。 - etl_designer 提供 HTTP_INPUT_SERVICE节点、ELASTIC_READER节点、ELASTIC_WRITER节点配置能力。
- etl_designer 提供 Graph根节点
<BeforeRun>
标签配置能力。 - etl_engine 为开发人员提供全局方法 common.GetUnixTimeFromStrTimeExt 、common.GetSystemTimeFormatExt
etl_engine_v1.0.5
- etl-engine v1.0.5
快速上手
run_crontab使用说明
当前版本最后编译时间20230101 - 技术支持
vx:weigeonlyyou - 修改轨迹
- run_graph正式更名为etl_engine
- run_crontab正式更名为etl_crontab
- 后台管理入口正式更名为etl_designer
http://127.0.0.1:11100/etl_designer
用户名称admin 用户密码123456 - crontab调度设计器增加在不重新加载jobs的前提下更新某个调度配置的功能。
- etl-designer设计器增加运行服务端某个job功能。
- 提供预警配置、数据库用户认证配置、高可用配置。
- 为开发人员提供Line节点的
<BeforeRun>
标签,实现任务执行前的判断能力。 - 为开发人员提供输出节点的
<AfterOut>
标签,实现输出节点执行完毕后执行go脚本的能力。 - 为开发人员提供全局变量GlobalVar
- 为开发人员提供全局方法common.Command3、common.CommonQuery、common.CommonWriteDB、common.CommonExecSqlDB
- 为开发人员提供service服务接口runJobForGraphFile
- etl-engine增加HTTP_INPUT_SERVICE输入节点(阻塞模式)
run_graph_v1.0.4
- etl-engine v1.0.4
快速上手
run_crontab使用说明
当前版本最后编译时间20221130 - 技术支持
vx:weigeonlyyou - 修改轨迹
- run_crontab支持file和db两种登录认证方式。
- run_crontab暴露多个远程调用接口,方便第三方系统调用。
- run_crontab支持动态更新某一个调度配置信息。
- run_graph支持系统内置变量(时间变量、时间位移变量、时间戳变量、UUID变量)。
- 修正etl-designer设计器载入配置ID问题。
run_graph_v1.0.3
- etl-engine v1.0.3
快速上手
当前版本最后编译时间20221122 - 技术支持
vx:weigeonlyyou - 修改轨迹
- run_crontab支持启动http/https服务。
- run_crontab服务端暴露接口支持https双向认证,支持Basic Auth认证、支持Token认证功能。
- run_crontab支持执行过程中,失败情况通过http/https协议发送预警功能(根据用户需求提供sms发送预警)。
- run_crontab分离模式部署场景中,支持etl-designer动态访问run_crontab配置的内外网服务器地址。
run_graph_v1.0.2
- etl-engine v1.0.2
快速上手
当前版本最后编译时间20221115 - 技术支持
vx:weigeonlyyou - 修改轨迹
- 根据用户需求增加PostgreSQL适配(测试环境PostgreSQL 15)
- 根据用户需求增加Oracle适配(测试环境Oracle 19c)
- 调整run_crontab集成etl-engine配置参数,为etl-engine与run_crontab分离部署提供方便。
- 正式提供run_crontab授权使用下载(run_crontab.exe -fileUrl conf.cron)
- 访问管理后台,浏览http://127.0.0.1:11100/pro_3 登录用户名称u1,登录用户口令123456
run_graph_v1.0.1
- etl-engine v1.0.1
快速上手
当前版本最后编译时间20221109 - 技术支持
vx:weigeonlyyou - 修改轨迹
- run_graph 出于学术讨论,实现无限连接转换节点的能力,但实际应用场景中每个输出节点就已经具备了各自的转换能力,大可不必为了流程图好看而去使用转换节点,转换节点比较适合拿复杂流程图讲故事的场景。
- run_graph 增加了prometheus读及写节点的支持。
- run_graph 增加了prometheus exporter的支持,只需配置几个参数就完成了exporter的定义。
- run_graph 增加了授权检测功能,后续如需授权文件进行试用,可通过run_crontab.exe -freeLicense true自行生成,或vx联系weigeonlyyou免费获取。
- run_crontab 集成了etl-designer,使商业化集成更加便捷,只需要一个run_crontab就可以在云端进行ETL任务设计,同时集成ETL调度设计器及日志查询功能。
- 为方便各开发商集成etl-engine并封装成自己的ETL产品,etl-designer、调度设计器、日志查询功能即可与run_crontab集成发布、也可独立发布。