基于Ambari的大数据平台解决方案:EDP,闪亮登场!
点击卡片“大数据实战演练”,选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料!回复“Ambari知识库”可领取独家整理的Ambari学习资料!大家好,我是create17,见字如面。今天给大家推荐一个大数据平台产品,它的名字就是EDP,由我们团队精心打造而成。能通过 Ambari 快速可视化部署新版 Apache Hadoop,跟随 Apache 各社区版本,适配了各种国产化系
点击卡片“大数据实战演练”,选择“设为星标”或“置顶”
回复“资料”可领取独家整理的大数据学习资料!
回复“Ambari知识库”可领取独家整理的Ambari学习资料!
大家好,我是create17,见字如面。今天给大家推荐一个大数据平台产品,它的名字就是EDP,由我们团队精心打造而成。能通过 Ambari 快速可视化部署新版 Apache Hadoop,跟随 Apache 各社区版本,适配了各种国产化系统,持续迭代更新,强烈推荐!
一、前言
以前,我们可以通过 Apache Ambari + HDP 的形式部署 Hadoop 各组件。但自从 hortonworks 与 cloudera 公司合并后,hdp 就闭源了,不再更新。
在这种背景下,大家迫切希望 Ambari 能支持对 Apache Hadoop 的可视化安装部署;也希望 Ambari 能支持更多的操作系统,比如国产化操作系统等。
经过团队小伙伴们的不懈努力,我们迭代开发的基于 Apache Ambari 的大数据平台解决方案能满足大部分企业的要求。我们将产品命名为 EDP,译为「企业级数据平台」。不只是Ambari的升级,也有大数据平台各服务的生产级解决方案。
二、EDP 简介
EDP,全称是 Enterprise Data Platform,是基于 Ambari 可视化部署的 Hadoop 生态的大数据组件集合,是一套成熟的企业级大数据平台解决方案。集大数据存储、处理和分析于一体。
EDP旨在提供一种一站式的解决方案,简化了Hadoop生态中各个组件的版本匹配、安装、集群管理以及监控等工作。对于那些需要处理大规模数据集的企业来说,EDP提供了一个可靠、高效且易于管理的平台。
可代替 hdp、cdh 等产品。跟随 Apache 各社区版本,支持多种国产化系统适配等。
三、EDP 广泛的操作系统支持
EDP 支持的操作系统如下:
● 主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。
● 国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。
● 定制支持:理论支持所有国产操作系统,可根据需求定制。
四、EDP 丰富的大数据组件生态
EDP 与 HDP 组件版本对比:
五、EDP 亮点介绍
1、Ambari Python3、JDK17 与 Spring6 版本发布
此次版本发布了国内首个基于Python3、JDK17与Spring6的 Ambari 版本。以下是技术选型的原因及优势:
为什么使用 Python3?
-
-
Python2 已停止维护。
-
更多操作系统已内置Python3,Ambari 支持了Python3,能方便适配各种操作系统。
-
为什么选择 JDK17?
-
-
目前所有基于 Ambari 的大数据发行版(包括 HDP)仍使用 JDK8。
-
Oracle 官方已于 2021 年 12 月停止对 JDK8 的公共更新和支持,这意味着不再提供安全更新和官方维护。
-
JDK17 是官方发布的长期维护版本(LTS),更安全、更稳定。
-
为什么选择 Spring6?
-
-
HDP 的 Ambari 以及社区版 Ambari 使用的是 Spring5。
-
Spring5 的相关依赖(尤其是 Spring Security)存在大量 CVE 漏洞。根据 Maven 官方仓库统计,几乎所有版本都存在安全问题。
-
对于安全要求较高的单位,升级 Spring5 到 Spring6 是必然选择,而这需要先升级 JDK 到 17。因此,我们推出了基于 JDK17 和 Spring6 的安全版本。
-
2、相对比HDP,版本升级与组件新增
EDP 相比较 HDP 已有组件,都做了版本升级。此外,EDP也新增了很多组件,可谓是诚意满满:
-
Alluxio:高性能分布式文件系统
-
Celeborn:弹性大数据计算引擎
-
CloudBeaver:DBeaver 的服务器版本。
-
Dolphin Scheduler:分布式任务调度系统。
-
Doris:MPP架构实时分析数据库。
-
Flink:流处理和批处理框架
-
Impala:Hadoop SQL查询引擎
-
Kyuubi:数据湖查询服务网关
-
Seatunnel:分布式数据集成平台,ELT 框架。
-
Solr:全文搜索平台
-
Superset:数据探索与BI可视化工具。
-
VictoriaMetrics:高性能时序数据库。
-
Nightingale:集群告警监控工具。
3、Trino 升级
升级如下:
-
Trino 升级到最新版本,使用 JDK 22。
-
集成了 Ranger 插件(此功能已通过 Trino 社区的 review,预计会在后续版本发布)。经内部合并测试无问题,具体内容可参考 Ranger 使用文档。
4、好用的监控工具
集成了国产最好用的监控告警组件 Nightingale。Nightingale 支持国内几乎所有通讯软件的告警,使用非常方便。其前身是滴滴开源的 Open Falcon,老运维应该会很熟悉。
5、版本支持
- 免费版本:
- 支持大部分国产操作系统(基于 Radhat 8 内核,x86_64)。
- 集成了很多大数据组件,满足普通用户的使用需求。
- 商业版本:
-
- 支持更多操作系统:主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。
- 支持 ARM 架构服务器。
- 提供以下功能和服务:
-
-
- 使用技术答疑与指导。
- 集群组件相关技术支持,包括组件二次开发。
- 集群参数优化。
- 有部署工具,可支持一键傻瓜式部署,方便快捷。
- Nightingale 大数据组件监控仪表盘配置文件。
-
-
- 对于有二次开发需求的用户,提供全套自动化工具,屏蔽底层复杂性,降低上手门槛。例如:
-
-
- 修改代码或升级组件。
- 修复组件漏洞后,一键自动拉取代码仓库、编译并部署到测试集群,无需人工干预。
-
六、EDP 安装包分享
EDP 现对外免费开放,用户可使用EDP安装包,在内核版本是 redhat8 ,cpu架构是 x86_64 的操作系统上部署体验,对应的部署教程如下所示:
详细安装地址:
https://www.yuque.com/create17/edp/zoluwelwrvtge3c9
七、EDP 社群加入
EDP 是一款刚对外发布的产品,如果大家在使用EDP的过程中有什么问题,可以加我微信:create17_,我邀请您进入EDP交流群,备注:EDP,可快速通过哦。
另外,如有企业对EDP感兴趣,想寻求更深的合作,欢迎联系我洽谈。
...
ending
-
六千字介绍 | 全网稀有的Ambari自定义服务集成实战(完结)✌️
-
Ambari 源码编译及前后端二次开发课程✌️
-
看看有多少人因为Ambari加我好友✌️
-
快来学习!全网最全的Ambari知识库闪亮登场✌️
一个人可以走得很快,但一群人才能走得更远。我的Ambari课程累计学员已经有 400+。感谢信任的同时,如果你需要一个良好的Ambari学习与交流环境,就请加入我们吧。这是一个学习Ambari的付费私密圈子,里面的人都是Ambari的活跃二次开发者,报名后,你可以享有知识星球 + 学员微信群 + 课程资料(笔记、视频等)+ 导师学习陪伴答疑服务,认识更多大佬,和大家一起成长。也欢迎大家点击左下角阅读原文了解我,希望我能提供的服务可以帮助到你。

戳“阅读原文”,查看EDP最新内容
更多推荐
所有评论(0)