2265e3d1f2d28e245d33252fb6ad76dd.gif

点击卡片“大数据实战演练”,选择“设为星标”或“置顶”

回复“资料”可领取独家整理的大数据学习资料!

回复“Ambari知识库”可领取独家整理的Ambari学习资料!

ac7d5505355e9a5f06f24d310367903a.jpeg

大家好,我是create17,见字如面。今天给大家推荐一个大数据平台产品,它的名字就是EDP,由我们团队精心打造而成。能通过 Ambari 快速可视化部署新版 Apache Hadoop,跟随 Apache 各社区版本,适配了各种国产化系统,持续迭代更新,强烈推荐!

一、前言

以前,我们可以通过 Apache Ambari + HDP 的形式部署 Hadoop 各组件。但自从 hortonworks 与 cloudera 公司合并后,hdp 就闭源了,不再更新。

在这种背景下,大家迫切希望 Ambari 能支持对 Apache Hadoop 的可视化安装部署;也希望 Ambari 能支持更多的操作系统,比如国产化操作系统等。

经过团队小伙伴们的不懈努力,我们迭代开发的基于 Apache Ambari 的大数据平台解决方案能满足大部分企业的要求。我们将产品命名为 EDP,译为「企业级数据平台」。不只是Ambari的升级,也有大数据平台各服务的生产级解决方案。

二、EDP 简介

EDP,全称是 Enterprise Data Platform,是基于 Ambari 可视化部署的 Hadoop 生态的大数据组件集合,是一套成熟的企业级大数据平台解决方案。集大数据存储、处理和分析于一体。

EDP旨在提供一种一站式的解决方案,简化了Hadoop生态中各个组件的版本匹配、安装、集群管理以及监控等工作。对于那些需要处理大规模数据集的企业来说,EDP提供了一个可靠、高效且易于管理的平台。

可代替 hdp、cdh 等产品。跟随 Apache 各社区版本,支持多种国产化系统适配等。

三、EDP 广泛的操作系统支持

EDP 支持的操作系统如下:

● 主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。

● 国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。

● 定制支持:理论支持所有国产操作系统,可根据需求定制。

5beb233e53fa87f75b5e71a7fb8da93a.png

四、EDP 丰富的大数据组件生态

EDP 与 HDP 组件版本对比:

cefd652a1d265e4ab765b45faf284385.png

五、EDP 亮点介绍

1、Ambari Python3、JDK17 与 Spring6 版本发布

此次版本发布了国内首个基于Python3、JDK17与Spring6的 Ambari 版本。以下是技术选型的原因及优势:

为什么使用 Python3?

    • Python2 已停止维护。

    • 更多操作系统已内置Python3,Ambari 支持了Python3,能方便适配各种操作系统。

为什么选择 JDK17?

    • 目前所有基于 Ambari 的大数据发行版(包括 HDP)仍使用 JDK8。

    • Oracle 官方已于 2021 年 12 月停止对 JDK8 的公共更新和支持,这意味着不再提供安全更新和官方维护。

    • JDK17 是官方发布的长期维护版本(LTS),更安全、更稳定。

为什么选择 Spring6?

    • HDP 的 Ambari 以及社区版 Ambari 使用的是 Spring5。

    • Spring5 的相关依赖(尤其是 Spring Security)存在大量 CVE 漏洞。根据 Maven 官方仓库统计,几乎所有版本都存在安全问题。

    • 对于安全要求较高的单位,升级 Spring5 到 Spring6 是必然选择,而这需要先升级 JDK 到 17。因此,我们推出了基于 JDK17 和 Spring6 的安全版本。

2、相对比HDP,版本升级与组件新增

EDP 相比较 HDP 已有组件,都做了版本升级。此外,EDP也新增了很多组件,可谓是诚意满满:

  • Alluxio:高性能分布式文件系统

  • Celeborn:弹性大数据计算引擎

  • CloudBeaver:DBeaver 的服务器版本。

  • Dolphin Scheduler:分布式任务调度系统。

  • Doris:MPP架构实时分析数据库。

  • Flink:流处理和批处理框架

  • Impala:Hadoop SQL查询引擎

  • Kyuubi:数据湖查询服务网关

  • Seatunnel:分布式数据集成平台,ELT 框架。

  • Solr:全文搜索平台

  • Superset:数据探索与BI可视化工具。

  • VictoriaMetrics:高性能时序数据库。

  • Nightingale:集群告警监控工具。

3、Trino 升级

升级如下: 

  • Trino 升级到最新版本,使用 JDK 22。

  • 集成了 Ranger 插件(此功能已通过 Trino 社区的 review,预计会在后续版本发布)。经内部合并测试无问题,具体内容可参考 Ranger 使用文档。

4、好用的监控工具

    集成了国产最好用的监控告警组件 Nightingale。Nightingale 支持国内几乎所有通讯软件的告警,使用非常方便。其前身是滴滴开源的 Open Falcon,老运维应该会很熟悉。

5、版本支持

  • 免费版本
    • 支持大部分国产操作系统(基于 Radhat 8 内核,x86_64)。
    • 集成了很多大数据组件,满足普通用户的使用需求。
  • 商业版本
    • 支持更多操作系统:主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。
    • 支持 ARM 架构服务器。
    • 提供以下功能和服务:
      • 使用技术答疑与指导。
      • 集群组件相关技术支持,包括组件二次开发。
      • 集群参数优化。
      • 有部署工具,可支持一键傻瓜式部署,方便快捷。
      • Nightingale 大数据组件监控仪表盘配置文件。
    • 对于有二次开发需求的用户,提供全套自动化工具,屏蔽底层复杂性,降低上手门槛。例如:
      • 修改代码或升级组件。
      • 修复组件漏洞后,一键自动拉取代码仓库、编译并部署到测试集群,无需人工干预。

六、EDP 安装包分享

EDP 现对外免费开放,用户可使用EDP安装包,在内核版本是 redhat8 ,cpu架构是 x86_64 的操作系统上部署体验,对应的部署教程如下所示:

详细安装地址:

https://www.yuque.com/create17/edp/zoluwelwrvtge3c9

七、EDP 社群加入

EDP 是一款刚对外发布的产品,如果大家在使用EDP的过程中有什么问题,可以加我微信:create17_,我邀请您进入EDP交流群,备注:EDP,可快速通过哦。

另外,如有企业对EDP感兴趣,想寻求更深的合作,欢迎联系我洽谈。

...

ending

  • 六千字介绍 | 全网稀有的Ambari自定义服务集成实战(完结)✌️

  • Ambari 源码编译及前后端二次开发课程✌️

  • 看看有多少人因为Ambari加我好友✌️

  • 快来学习!全网最全的Ambari知识库闪亮登场✌️

a8c5b3374a7269df9a21aba6bb58109c.png

一个人可以走得很快,但一群人才能走得更远。我的Ambari课程累计学员已经有 400+。感谢信任的同时,如果你需要一个良好的Ambari学习与交流环境,就请加入我们吧。这是一个学习Ambari的付费私密圈子,里面的人都是Ambari的活跃二次开发者,报名后,你可以享有知识星球 + 学员微信群 + 课程资料(笔记、视频等)+ 导师学习陪伴答疑服务,认识更多大佬,和大家一起成长。也欢迎大家点击左下角阅读原文了解我,希望我能提供的服务可以帮助到你。

acce5fb0700b7b8048b20f861650f108.png最后,把我的座右铭送给大家: 执行是消除焦虑的有效办法,明确并拆解自己的目标,一直行动,剩下的交给时间。 共勉 💪。

“阅读原文”,查看EDP最新内容

Logo

永洪科技,致力于打造全球领先的数据技术厂商,具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。

更多推荐