数据血缘可视化之Open-Lineage(一)
这是一个企业级的大数据血缘可视化项目,目前支持功能如下。目前版本 V1.0.2。支持解析 Hive sql 生成血缘图,性能高速稳定支持字段级血缘与表级血缘切换展示支持完整血缘与不完整血缘链路切换展示支持血缘高亮显示支持设置血缘高亮颜色支持画布水印支持画布拖拽、放大、缩小、自适应、视图居中显示支持血缘图图片下载支持小地图拖拽编辑器支持编写 Sql编辑器支持切换主题色编辑器支持语法高亮支持仅编辑区,
·
前言
这是一个企业级的大数据血缘可视化项目,目前支持功能如下。目前版本 V1.0.2。
- 支持解析 Hive sql 生成血缘图,性能高速稳定
- 支持字段级血缘与表级血缘切换展示
- 支持完整血缘与不完整血缘链路切换展示
- 支持血缘高亮显示
- 支持设置血缘高亮颜色
- 支持画布水印
- 支持画布拖拽、放大、缩小、自适应、视图居中显示
- 支持血缘图图片下载
- 支持小地图拖拽
- 编辑器支持编写 Sql
- 编辑器支持切换主题色
- 编辑器支持语法高亮
- 支持仅编辑区,仅预览区切换功能
- 支持血缘图全屏和退出全屏功能
- 支持显示节点数量
什么是数据血缘
大数据数据血缘是指数据产生的链路,直白点说,就是我们这个数据是怎么来的,经过了哪些过程和阶段。而我们要做的就是将这个过程通过可视化技术展现出来。
技术选型
通过调研得知目前市面上对于数据血缘可视化的实现方案其实比较多,例如使用 Canvas,或使用 D3.js 库,但是这些开发成本都非常高,因此最后我们选择了阿里开源的 Antv 数据可视化工具进行开发,它提供了多种数据可视化工具,最终我们在它里面找到了和我们本次需求场景较为匹配的两种可视化工具,Antv X6 和 Antv G6,通过综合对比,我们最终选择了 G6,因为 G6 底层是基于 Canvas 实现的,而 X6 底层是基于 SVG 实现的,因此 G6 更符合我们有大量图元对性能的要求。在后面的几个小节我将介绍该项目涉及到的几个核心的技术实现,
更多推荐
所有评论(0)