Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六（kylin篇）

全文请看：/tktttt/article/details/108578804

大数据集群搭建安装包：/download/tktttt/12879318

大数据集群搭建安装包2：/download/tktttt/12879355

八、Kylin搭建

1.安装

下载相应适配版本的安装包：官网地址

上传到新建文件目录/usr/local/kylin下，并解压：

tar -zxvf apache-kylin-3.1.0-bin-hbase1x.tar.gz

2.配置环境变量

vi /etc/profile#加入以下内容export KYLIN_HOME=/usr/local/kylin/apache-kylin-3.1.0-bin-hbase1x#path后添加export PATH=$PATH:$KYLIN_HOME/bin

使之生效：source /etc/profile

3.配置kylin

检查运行环境：

Kylin 运行在 Hadoop 集群上，对各个组件的版本、访问权限及 CLASSPATH 等都有一定的要求，为了避免遇到各种环境问题，您可以运行$KYLIN_HOME/bin/check-env.sh脚本来进行环境检测，如果您的环境存在任何的问题，脚本将打印出详细报错信息。如果没有报错信息，代表您的环境适合 Kylin 运行（此段来自kylin官网文档）

若有问题，则按日志输出解决即可，按前文一步步来是没问题的，若出现问题，请回顾前文比对哪里有误。

HDFS 目录结构：

Kylin 会在 HDFS 上生成文件，根目录是 “/kylin/”, 然后会使用 Kylin 集群的元数据表名作为第二层目录名，默认为 “kylin_metadata” (可以在conf/kylin.properties中定制).

通常, /kylin/kylin_metadata 目录下会有这么几种子目录：cardinality, coprocessor, kylin-job_id, resources, jdbc-resources.

cardinality: Kylin 加载 Hive 表时，会启动一个 MR 任务来计算各个列的基数，输出结果会暂存在此目录。此目录可以安全清除。coprocessor: Kylin 用于存放 HBase coprocessor jar 的目录；请勿删除。kylin-job_id: Cube 计算过程的数据存储目录，请勿删除。 如需要清理，请遵循 storage cleanup guide.resources: Kylin 默认会将元数据存放在 HBase，但对于太大的文件（如字典或快照），会转存到 HDFS 的该目录下，请勿删除。如需要清理，请遵循 cleanup resources from metadatajdbc-resources：性质同上，只在使用 MySQL 做元数据存储时候出现。

（此部分来自kylin官方文档，想详细了解的见官网）

部署 Kylin：

kylin.env.hdfs-working-dir：指定 Kylin 服务所用的 HDFS 路径，默认值为 /kylin，请确保启动 Kylin 实例的用户有读写该目录的权限

kylin.env：指定 Kylin 部署的用途，参数值可选 DEV，QA， PROD，默认值为 DEV，在 DEV 模式下一些开发者功能将被启用

kylin.env.zookeeper-base-path：指定 Kylin 服务所用的 ZooKeeper 路径，默认值为 /kylin

kylin.env.zookeeper-connect-string：指定 ZooKeeper 连接字符串，如果为空，使用 HBase 的 ZooKeeper

kylin.env.hadoop-conf-dir：指定 Hadoop 配置文件目录，如果不指定的话，获取环境中的 HADOOP_CONF_DIR

kylin.server.mode：指定 Kylin 实例的运行模式，参数值可选 all， job， query，默认值为 all，job 模式代表该服务仅用于任务调度，不用于查询；query 模式代表该服务仅用于查询，不用于构建任务的调度；all 模式代表该服务同时用于任务调度和 SQL 查询。

kylin.server.cluster-name：指定集群名称

（以上部分来自官网文档）详情：见此处

4.启动使用

使用 Kylin：

Kylin 启动后您可以通过浏览器http://<hostname>:7070/kylin进行访问。

其中<hostname>为具体的机器名、IP 地址或域名，默认端口为 7070。

初始用户名和密码是ADMIN/KYLIN。

服务器启动后，您可以通过查看$KYLIN_HOME/logs/kylin.log获得运行时日志。

停止 Kylin：

运行$KYLIN_HOME/bin/kylin.sh stop脚本来停止 Kylin，界面输出如下：

Retrieving hadoop conf dir...KYLIN_HOME is set to /usr/local/apache-kylin-2.5.0-bin-hbase1xStopping Kylin: 25964Stopping in progress. Will check after 2 secs again...Kylin with pid 25964 has been stopped.

您可以运行ps -ef | grep kylin来查看 Kylin 进程是否已停止。

（以上部分来自官方文档）

启动集群：

启动顺序：

1、启动zookeeper./zkServer.sh start2、启动journalnodehadoop-daemon.sh start journalnode3、启动HDFS./start-dfs.sh4、启动YARN集群./start-yarn.sh5、启动HBase集群./start-hbase.sh6、启动 metastorenohup hive --service metastore &#或者nohup hive --service metastore >/usr/data/hive/log/metastore/metastore.log &7、启动 hiverserver2nohup hive --service hiveserver2 &或者nohup hive --service hiveserver2 >/usr/data/hive/log/hiveserver2/hiveserver.log &8、启动Yarn history servermr-jobhistory-daemon.sh start historyserver9、启动spark history server【可选，本文未装spark】sbin/start-history-server.sh 10、启动kylin./kylin.sh start

登录Kylin：

http://node:7070/kylinurlhttp://IP:7070/kylin默认用户名：ADMIN默认密码：KYLIN

使用：

参考另一位博主的文章：此处

为何不运行kylin自带的demo，因为虚拟机配置不够，运行耗时太长，因而最好用前文hive中自行建立的数据库与数据表等数据

5.问题

在上面使用过程中，可能遇到：

1.web页面中kylin在build报错10020拒绝链接错误

报错信息：

org.apache.kylin.engine.mr.exception.MapReduceException: Exception: .ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: .ConnectException: 拒绝连接; For more details see: /hadoop/.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: .ConnectException: 拒绝连接; For more details see: /hadoop/ConnectionRefusedat org.apache.kylin.mon.MapReduceExecutable.doWork(MapReduceExecutable.java:173)at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:164)

解决方法：修改Hadoop配置文件mapred-site.xml

cd /usr/local/hadoop/hadoop-2.7.4/etc/hadoopvi mapred-site.xml

加入如下内容：

<!-- 配置 MapReduce JobHistory Server 地址,默认端口10020 --><property><name>mapreduce.jobhistory.address</name><value>192.168.88.129:10020</value></property><!-- 配置 MapReduce JobHistory Server web ui 地址,默认端口19888 --><property><name>mapreduce.jobhistory.webapp.address</name><value>192.168.88.129:19888</value></property>

并停止kylin，在主节点上启动jobhistory：

mr-jobhistory-daemon.sh start historyserver

再重新启动kylin，并重新运行程序，运行成功

2.其他问题：

笔者未遇到，这里放两篇其他博主的参考文章：

Kylin常见错误及解决方法

kylin安装问题记录

全文列出的参考文章，仅为提供方便，若有侵犯，请联系删除