1. 安装docker docker-compose ruby git

yum install -y git docker ruby
curl -SL https://github.com/docker/compose/releases/download/v2.5.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
git clone https://github.com/vivostar/bigtop.git /bigtop_home
cd /bigtop_home
# git checkout yourbranch
systemctl start docker

2. 编译bigtop-puppet镜像

cd /bigtop_home/docker/bigtop-puppet
# ./build.sh name-OS-version
./build.sh p1-centos-7

3.利用第二步编译好的bigtop-puppet镜像编译bigtop-slaves镜像

cd /bigtop_home/docker/bigtop-slaves
./build.sh p1-centos-7

4.编译成功的镜像是bigtop/slaves:p1-centos-7

然后就可以利用这个镜像来编译自己想要的组件了

# 在容器启动时设置--rm选项,这样在容器退出时就能够自动清理容器内部的文件系统
docker run --rm  -v `pwd`:/ws --workdir /ws bigtop/slaves:p1-centos-7 bash -l -c 'git clone https://github.com/apache/bigtop.git; cd bigtop; ./gradlew allclean ; ./gradlew spark-rpm'

编译好的大数据组件可以通过yum在centos上安装,一次类推,我们也可以在debian上编译deb包,只要设定好debian的容器即可

Logo

永洪科技,致力于打造全球领先的数据技术厂商,具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。

更多推荐