如何使用bigtop编译大数据组件?
如何使用bigtop编译大数据组件
·
1. 安装docker docker-compose ruby git
yum install -y git docker ruby
curl -SL https://github.com/docker/compose/releases/download/v2.5.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
git clone https://github.com/vivostar/bigtop.git /bigtop_home
cd /bigtop_home
# git checkout yourbranch
systemctl start docker
2. 编译bigtop-puppet镜像
cd /bigtop_home/docker/bigtop-puppet
# ./build.sh name-OS-version
./build.sh p1-centos-7
3.利用第二步编译好的bigtop-puppet镜像编译bigtop-slaves镜像
cd /bigtop_home/docker/bigtop-slaves
./build.sh p1-centos-7
4.编译成功的镜像是bigtop/slaves:p1-centos-7
然后就可以利用这个镜像来编译自己想要的组件了
# 在容器启动时设置--rm选项,这样在容器退出时就能够自动清理容器内部的文件系统
docker run --rm -v `pwd`:/ws --workdir /ws bigtop/slaves:p1-centos-7 bash -l -c 'git clone https://github.com/apache/bigtop.git; cd bigtop; ./gradlew allclean ; ./gradlew spark-rpm'
编译好的大数据组件可以通过yum在centos上安装,一次类推,我们也可以在debian上编译deb包,只要设定好debian的容器即可
更多推荐
所有评论(0)