前言

大数据应用开发——大数据平台集群部署 

        安装虚拟机 

        集群基础设置

        在集群上安装jdk和hadoop

        安装mysql和hive 

        安装spark和zookeeper、hbase

大数据应用开发——实时数据采集

大数据应用开发——实时数据处理

        Flink完成Kafka中的数据消费,将数据分发至Kafka的dwd层中

        并在HBase中进行备份

大数据应用开发——数据可视化

目录

        基础环境


基础环境

VMware Workstation
虚拟机版本 centos7
主机名
ip
用户名
密码
master 192.168.245.100 root 123456
slave1 192.168.245.101 root 123456
slave2 192.168.245.102 root 123456

安装虚拟机

安装

 

名称、路径自己改

 

我有16核,需要三台,看自己配置

 

  接下来一直下一步

完成

编辑->虚拟网络编辑器(查看子网、网关信息)

按回车键 

选中国上海时区 

关机,克隆

Logo

永洪科技,致力于打造全球领先的数据技术厂商,具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。

更多推荐