
【DAMA特供】数据治理 | 驾驭数据洪流:构建敏捷高效的现代数据架构(下)
Denodo在数据编织领域排名全球第一,保持年均50%+的营收增长率,其卓越的数据编织产品针对广泛的企业、云端、大数据和非结构化数据来源,提供数据访问、数据治理和数据交付功能,而无需将数据从其原始存储库中复制或移出,即“连接,而非获取”,助力企业实现统一数据资产管理,并确保所有用户和业务应用程序可以访问并安全处理极为复杂的多云、异构、跨境等数据,从而改变组织创新和业务运营的方式。甚至在某些情况下,
企业需要访问多个分布在不同环境甚至跨境的数据源,点对点的连接方式将导致访问网络复杂且混乱,不利于清晰地掌控数据的使用情况,而在逻辑层面集中数据的访问和管理,允许在分布式数据环境下实现数据的集中化使用,彻底满足业务对数据敏捷性和准确性的需求。
Denodo对接不同技术栈数据源,主要实现方式为:通过VDP(Virtual DataPort)接受查询请求,往下重写到不同数据源去做查询,针对不同技术栈,Denodo提供庞大而精心设计的、开箱即用的各数据类型打包器(Wrapper)做中间处理,构建形式一致的结构化视图,在此基础上进行逻辑设计。
比如将来自数仓的历史数据和API的实时数据结合成同一张表来使用,Denodo能够判断什么时候向数仓要数,什么时候向API要数。虚拟化技术的好处在于:
1)减少数据物理整合需要的存储成本
2)提供企业全域数据的完整数据资产视图
3)企业全域数据可以统一适用数据治理机制
4)应对快速变化的生产/产能/市场/销售策略,实现数据快速交付和业务落地
从示例架构图中我们可以看出,构建逻辑数据仓库(LDW)并不意味着物理数据仓库的消失,物理数据仓库在 LDW 架构中依然存在,可以与数据湖等物理存储环境共存。通过虚拟化层的整合,这些物理存储成为一个统一的逻辑数据环境。在 LDW 架构中,左侧为各种数据源,包括物理数据仓库和数据湖,右侧则是数据应用。
架构中的核心是中间的虚拟化层,提供统一的数据访问界面,无论数据位于仓库、数据湖,还是直接来自业务系统的数据源,用户都能在这个逻辑环境中进行访问。这一架构的灵活性体现在数据的跨源访问和异构整合上,用户可以快速有效地组织和查询来自不同源的数据。甚至在某些情况下,数据不必首先进入数据仓库或数据湖,而是可以直接从业务系统中进行访问,这使得数据的处理和响应更加灵活和高效。
数据分区与虚拟化层实现逻辑数据仓库的一个关键优势在于,能够基于数据的使用场景和需求,灵活分配数据存储资源。比如LDW 允许我们在保持数据结构一致的前提下,将数据根据不同条件分配到不同的存储环境中。举例来说,企业可以将最核心的、高访问频率的数据保存在性能更高的物理数据仓库中,而将历史性或低频访问的数据存储在如 Hadoop 集群这样的低成本环境中。
对于三年以上的历史数据,由于访问频率较低,用户对查询响应时间的容忍度相对较高,因此不需要保存在高性能系统中。在逻辑数据仓库的虚拟化层中,用户不必关心数据究竟存储在数据仓库还是数据湖中。虚拟化层会根据用户的请求自动决定成本最低的数据访问路径。用户可以同时查询物理数据仓库和数据湖中的数据,而这一过程对用户来说是透明的。这样的设计确保了数据的灵活整合和高效访问,减少了跨源查询的复杂性。
数据虚拟化的核心价值
对于那些已经使用Hadoop或者计划使用Hadoop的企业来说,Denodo的
无论采用何种架构,都需要根据具体的业务需求找到适合的切入点。以下是六个常见的切入场景:
-
单一视图场景:构建客户、产品、车辆、档案等 360 度全景视图。这种场景适用于业务部门需要全面了解某一对象的所有关联信息,以支持业务决策和客户服务;
-
数据安全与合规场景:满足数据安全和合规性要求,包括数据访问控制、审计、数据隐私保护等。金融、医疗等对数据安全要求较高的行业尤为适合;
-
数据服务场景:提供 API 管理和数据服务发布,实现数据的标准化和可复用。通过数据服务化,可以为其他系统提供统一的数据访问接口,支持灵活的数据消费;
-
自助式 BI 场景:满足业务部门的数据自助分析需求,实现数据民主化和数据自制。通过自助式分析工具,业务用户可以直接对数据进行查询和分析,提高数据利用效率;
-
大数据场景:包括逻辑数据仓库和逻辑数据湖的管理。在大数据环境中,逻辑数据虚拟化层可以整合各种类型的数据源,提供统一的数据访问接口;
-
云端场景:支持上云、下云和多云策略,实现混合云和多云环境下的数据管理。通过数据虚拟化,可以实现云端与本地数据的无缝集成。
随着第五波全球化浪潮的推进,中国企业正抓住海外扩张的新机遇,通过出口产能降低成本、绕过贸易壁垒、通过零售和电子商务扩大品牌、通过数字平台优化国际销售渠道、在全球推广本土文化以及推出智能手机等先进科技产品来实现这一目标。中国在改革开放 40 多年后建立起的强大制造业基础和综合供应链,使其拥有独特的竞争优势。
然而,这种国际扩张也带来了挑战:其中最主要的是数据主权法、遵守欧洲 GDPR 和美国 CPRA 等国际法规,以及整合来自不同地点的数据并使其在最需要的地方可访问的纯粹物理问题。
Denodo 平台可以帮助中国企业克服这些挑战。例如必和必拓(BHP)——澳大利亚最大的公司和世界上最大的矿业公司,其复杂的数据分散在四大洲的数百个系统中,该公司面临着工厂产量、设备维护和安全以及商品运往配送港的物流规划的可见性问题,由于多个区域而产生的数据主权问题给构建统一的分析带来了挑战,借助 Denodo 平台,必和必拓连接了所有特定领域的集群,通过混合/多云环境在主要地区提供统一的全球数据访问层——绕过了数据主权问题。该解决方案提高了运营效率,增强了决策能力,降低了成本,并确保了对区域法规的遵守,同时支持多云集成以实现可扩展性和安全性。正在向海外扩张的中国跨国公司可以从 Denodo 平台中获得这些好处。
Denodo是一家起源于西班牙的科技独角兽企业,是数据管理、数据编织、数据集成领域的全球领导者。目前在全球30个国家设有分支机构,在西班牙拉科鲁尼亚市和美国加利福尼亚州帕洛阿尔托市设有全球总部,并于2019年入驻中国,负责其在中国大陆、香港及台湾地区的销售、研发、技术服务及相关创新业务。
Denodo在数据编织领域排名全球第一,保持年均50%+的营收增长率,其卓越的数据编织产品针对广泛的企业、云端、大数据和非结构化数据来源,提供数据访问、数据治理和数据交付功能,而无需将数据从其原始存储库中复制或移出,即“连接,而非获取”,助力企业实现统一数据资产管理,并确保所有用户和业务应用程序可以访问并安全处理极为复杂的多云、异构、跨境等数据,从而改变组织创新和业务运营的方式。目前已服务全球财富500强和全球2000强中英特尔、西门子、丰田、壳牌、沃尔玛、强生、赛诺菲等逾千名客户,覆盖了高科技、制造业、金融、能源、制药、零售等各个行业。
更多推荐
所有评论(0)