Apache Atlas

学习一个新的组件,最好的方法就是上手使用,百闻不如一见,更何况是能自己亲手编译出来。

在动手编译之前,我也纠结版本的选择问题,是选择最新的,还是次新的?最终决定让我选择2.0的理由就是它更新说明中提到的版本支持说明:

1.Updated component versions to use Hadoop 3.1, Hive 3.1, HBase 2.0, Solr 7.5 and Kafka 2.0

2.Updated JanusGraph version to 0.3.1

虽然JanusGraph不是最新的0.5.0,但是就发布时间来说,0.3.1已经也是比较靠前的版本(0.3.2是2019年6月发布)。

编译

  1. 从官网下载2.0.0对应的源码包,然后执行:
<code>tar xvfz apache-atlas-2.0.0-sources.tar.gz
cd apache-atlas-sources-2.0.0/
export MAVEN_OPTS="-Xms2g -Xmx2g"
mvn clean -DskipTests install/<code>

说一下我遇到的几个问题吧

  • JDK版本:编译过程中提示对maven、JDK的版本都有要求,告警显示是warn级别的,我没有在意,最终导致反复多次编译。一开始我的JDK是1.8_91,第一次出现编译错误后,我直接选择JDK11.0.5,发现还是不行,最终选择升级JDK1.8_241解决。
  • Maven版本:maven则是在有错误后,直接升级至3.6.3;好久没有编译,发现maven的好多lib都需要使用https协议进行才能下载,一开始我还手工install,后面意识到不是网络问题后,直接配置maven的conf文件,增加如下配置,缺包的问题就没有再出现:
<code>159     
160 <mirror>
161 repo1
162 <mirrorof>central/<mirrorof>
163 <name>中央仓库repo1/<name>
164 https://repo1.maven.org/maven2/
165 /<mirror>
166
167
168 <mirror>
169 repo2
170 <mirrorof>central/<mirrorof>
171 <name>中央仓库repo2/<name>
172 https://repo2.maven.org/maven2/
173 /<mirror>/<code>
  • Scala:升级至2.12,此处主要是为了使用kafka_2.12-2.0.0;
  • NPM:不知道在哪个环节,卡主了较长时间,时候发现是在用npm做一些安装,本身我电脑上可能没有,导致僵死,该问题采用brew install npm方法解决;

生成安装包

生成安装包,需要执行以下命令(不内置Hbase、Solr):

<code>mvn clean -DskipTests package -Pdist/<code> 

生成包括内置HBase、Solr的版本:

<code>mvn clean -DskipTests package -Pdist,embedded-hbase-solr/<code>

该过程基本的差异就是网速了,下面就是我的一个包括内置Hbase、Solr的编译截图。

Apache Atlas - 部署使用[02]

编译Atlas的安装包

编译中因为网速太慢,我中断了一次,倒是让我发现了一个提速的方法,可以提前自行下载HBase-2.0.2、Solr-7.5.0两个版本,分别放到如下目录:

<code>apache-atlas-sources-2.0.0/distro/hbase/hbase-2.0.2.tar.gz
apache-atlas-sources-2.0.0/distro/solr/solr-7.5.0.tgz/<code>

再次执行上述编译命令,则可以大大提升速度。

部署运行

将编译好的安装包,从如下目录拷贝出来:

<code>apache-atlas-sources-2.0.0/distro/target/apache-atlas-2.0.0-server.tar.gz/<code>

解压后执行如下命令:

<code>cd atlas-{project.version}
bin/atlas_start.py/<code>

执行后,服务启动,如下图所示:

Apache Atlas - 部署使用[02]

启动Atlas服务

此时,服务后台已经运行,但是还是无法访问,再执行如下命令:

<code>bin/quick_start.py
Enter username for atlas :-
Enter password for atlas :-/<code>

等待几分钟,将示例数据导入到后台中。

此时,服务就可以用了,可以访问http://localhost:21000,采用之前输入的用户名和密码登陆。


分享到:


相關文章: