大数据数仓建模系统的设计
数据地图技术落地细节：1、血缘关系，表的依赖关系技术实现：canal解析当前的SQL语句：insert overwrite table mydb.users select * fromA join B 就能找到它的上下游关系；2、搜索技术实现:ES搜索3、数据展示技术实现:echarts4、表的创建技术实现：canal 从binlog解析创建表的SQL语句:create table users，c
·
数据地图技术落地细节：
1、血缘关系，表的依赖关系技术实现：canal解析当前的SQL语句：insert overwrite table mydb.users select * from A join B 就能找到它的上下游关系；
2、搜索技术实现:ES搜索
3、数据展示技术实现:echarts
4、表的创建技术实现：canal 从binlog解析创建表的SQL语句:create table users，canal解析出表名和字段；
数据治理的方法论：
建表规范
- 构建事实表
- 构建维度表（无限扩展字段）
数据安全
- 分级
- 等保
- 脱敏
- 审计
数据效率
永洪科技，致力于打造全球领先的数据技术厂商，具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)