元数据管理平台—LinkedIn Datahub安装配置

自己配了一遍，中途遇到的一些问题，都解决掉了，也整理出了安装流程，按照下面来操作应该不会出问题，安装步骤需要科学上网
请确保你的docker运行内存>4GB，官方建议至少8GB

1.安装docker，docker-compose，jq

1.1安装docker

旧版本的 Docker 名称为 docker 或 docker-engine。在尝试安装新版本之前，请先卸载旧版本以及相关的依赖关系。

sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

设置仓库地址

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
如果下载慢，可以更换为阿里云的地址
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装docker

sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

查看版本

docker -v

通过下面的命令可以启停docker

systemctl start docker // 启动docker
systemctl stop docker // 关闭docker

1.2安装Docker Compose

其实上一步安装docker中，最后也安装了docker-compose，这里安不安装都可以，只是为了让小白看的清楚一点，如果这里不选择安装，下面修改权限，和建立软连接的地址记得替换，可以用命令查看文件在哪find / -name docker-compose

sudo curl -L "https://github.com/docker/compose/releases/download/v2.3.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

修改执行权限

sudo chmod +x /usr/local/bin/docker-compose

建立软连接

ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

查看版本，验证安装成功。

docker-compose --version

1.3安装jq

安装EPEL源

yum install epel-release

安装jq：

yum install jq

2.安装python3

安装依赖

yum -y groupinstall "Development tools"

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel

下载安装包
如果下载比较慢，可以在windows下载，然后上传

wget https://www.python.org/ftp/python/3.8.3/Python-3.8.3.tgz
tar -zxvf  Python-3.8.3.tgz

编译安装

mkdir /usr/local/python3 
cd Python-3.8.3
./configure --prefix=/usr/local/python3
make && make install

创建软连接

 ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3 
 ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3

检查版本

python3 -V 
pip3 -V

3.安装与启动datahub

python3 -m pip install --upgrade pip wheel setuptools

检查环境

python3 -m pip uninstall datahub acryl-datahub || true  # sanity check - ok if it fails

收到这样的提示说明没有问题。

WARNING: Skipping datahub as it is not installed.
WARNING: Skipping acryl-datahub as it is not installed.

安装datahub

python3 -m pip install --upgrade acryl-datahub

更新urllib3，不然会报错urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the ‘ssl‘ module is compiled with ‘OpenSSL 1，如果不想卸载，可以自行升级OpenSSL
卸载

pip3 uninstall urllib3

安装

pip3 install urllib3==1.26.15

查看datahub版本

python3 -m datahub version	

启动datahub
如果此命令卡在获取文件，可以手动获取文件然后指定文件

python3 -m datahub docker quickstart

文件地址：https://github.com/datahub-project/datahub/blob/master/docker/quickstart/docker-compose-without-neo4j.quickstart.yml

python3 -m datahub docker quickstart --quickstart-compose-file /root/.datahub/docker-compose-without-neo4j.quickstart.yml

访问WebUI

摄取示例元数据

python3 -m datahub docker ingest-sample-data