700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > 分布式系列教程(34) -Linux下安装ik分词器

分布式系列教程(34) -Linux下安装ik分词器

时间:2020-03-18 23:57:17

相关推荐

分布式系列教程(34) -Linux下安装ik分词器

1.引言

因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好,会将中文词语拆分成一个一个中文的汉字,因此引入中文分词器-es-ik插件。

例如使用传统的分词器,可以看到把中文分成一个一个的文字:

这样明显是达不到我们想要的分词效果的,本文来讲解下再Linux下安装ik分词器。

2.Linux下安装ik分词器

1. 首先下载ik分词器

下载地址: /medcl/elasticsearch-analysis-ik/releases

注意:es-ik分词插件版本一定要和es安装的版本对应

2.在es安装目录下的plugins目录新建ik文件夹(/usr/local/elasticsearch-6.4.3/plugins)

mkdir ik

3.上传到es安装目录(/usr/local/elasticsearch-6.4.3/plugins/ik)

4.解压

cd /usr/local/elasticsearch-6.4.3/plugins/ik/unzip elasticsearch-analysis-ik-6.4.3.zip

5.切换至user账号重新启动es服务器

su ylw/usr/local/elasticsearch-6.4.3/bin/elasticsearch

在日志中可以看到ik分词器加载进去了:

6.Postman测试

POST请求:http://192.168.162.131:9200/_analyze

请求内容:

{"analyzer": "ik_smart","text": "超级演说家"}

返回内容如下:

可以看到分词器把“超级演说家”分为了两个词语“超级”,“演说家”。

3.自定义扩展字典

有些词语分词器是没有的,需要我们自定义添加,写下步骤:

1.在/usr/local/elasticsearch-6.4.3/plugins/ik/config目录下,新建new_word.dic文件

vi custom/new_word.dic

输入内容:

王者荣耀LOL活影忍者八龙珠陆贼王

2.配置扩展分词目录:

vi IKAnalyzer.cfg.xml

修改内容如下:

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE properties SYSTEM "/dtd/properties.dtd"><properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict">custom/new_word.dic</entry><!--用户可以在这里配置自己的扩展停止词字典--><entry key="ext_stopwords"></entry><!--用户可以在这里配置远程扩展字典 --><!-- <entry key="remote_ext_dict">words_location</entry> --><!--用户可以在这里配置远程扩展停止词字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> --></properties>

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。