元数据治理平台—Datahub安装配置
通过下面的命令可以启停docker。
元数据管理平台—LinkedIn Datahub安装配置
自己配了一遍,中途遇到的一些问题,都解决掉了,也整理出了安装流程,按照下面来操作应该不会出问题,安装步骤需要科学上网
请确保你的docker运行内存>4GB,官方建议至少8GB
1.安装docker,docker-compose,jq
1.1安装docker
旧版本的 Docker 名称为 docker 或 docker-engine。在尝试安装新版本之前,请先卸载旧版本以及相关的依赖关系。
sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
设置仓库地址
sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
如果下载慢,可以更换为阿里云的地址
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
安装docker
sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
查看版本
docker -v
通过下面的命令可以启停docker
systemctl start docker // 启动docker
systemctl stop docker // 关闭docker
1.2安装Docker Compose
其实上一步安装docker中,最后也安装了docker-compose,这里安不安装都可以,只是为了让小白看的清楚一点,如果这里不选择安装,下面修改权限,和建立软连接的地址记得替换,可以用命令查看文件在哪find / -name docker-compose
sudo curl -L "https://github.com/docker/compose/releases/download/v2.3.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
修改执行权限
sudo chmod +x /usr/local/bin/docker-compose
建立软连接
ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
查看版本,验证安装成功。
docker-compose --version
1.3安装jq
安装EPEL源
yum install epel-release
安装jq:
yum install jq
2.安装python3
安装依赖
yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel
下载安装包
如果下载比较慢,可以在windows下载,然后上传
wget https://www.python.org/ftp/python/3.8.3/Python-3.8.3.tgz
tar -zxvf Python-3.8.3.tgz
编译安装
mkdir /usr/local/python3
cd Python-3.8.3
./configure --prefix=/usr/local/python3
make && make install
创建软连接
ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
检查版本
python3 -V
pip3 -V
3.安装与启动datahub
python3 -m pip install --upgrade pip wheel setuptools
检查环境
python3 -m pip uninstall datahub acryl-datahub || true # sanity check - ok if it fails
收到这样的提示说明没有问题。
WARNING: Skipping datahub as it is not installed.
WARNING: Skipping acryl-datahub as it is not installed.
安装datahub
python3 -m pip install --upgrade acryl-datahub
更新urllib3,不然会报错urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the ‘ssl‘ module is compiled with ‘OpenSSL 1,如果不想卸载,可以自行升级OpenSSL
卸载
pip3 uninstall urllib3
安装
pip3 install urllib3==1.26.15
查看datahub版本
python3 -m datahub version
启动datahub
如果此命令卡在获取文件,可以手动获取文件然后指定文件
python3 -m datahub docker quickstart
文件地址:https://github.com/datahub-project/datahub/blob/master/docker/quickstart/docker-compose-without-neo4j.quickstart.yml
python3 -m datahub docker quickstart --quickstart-compose-file /root/.datahub/docker-compose-without-neo4j.quickstart.yml
访问WebUI
摄取示例元数据
python3 -m datahub docker ingest-sample-data
更多推荐
所有评论(0)