高级架构师_Elasticsearch_第二章kibana+IK分词器安装+索引操作+ 映射操作

文章目录

第二部分 玩转Elasticsearch之入门使用第1节 核心概念第2节 Elasticsearch API介绍第3节 安装配置kibana1.什么是Kibana2.安装Kibana1) 下载Kibana2) 安装kibana3) kidbana使用页面4 ）扩展kibana dev tools快捷键：第4节 Elasticsearch集成IK分词器1. 集成IK分词器下载地址：2 扩展词典使用3 停用词典使用自定义停用词库4 同义词典使用配置IK同义词第5节 索引操作（创建、查看、删除）1. 创建索引库2. 判断索引是否存在3.查看索引4. 打开索引5.关闭索引6. 删除索引库第6节 映射操作1. 创建映射字段2. 映射属性详解

第二部分 玩转Elasticsearch之入门使用

Elasticsearch是基于Lucene的全文检索引擎，本质也是存储和检索数据。ES中的很多概念与MySQL类 似 我们可以按照关系型数据库的经验去理解。

第1节 核心概念

索引(index)

类似的数据放在一个索引，非类似的数据放不同索引， 一个索引也可以理解成一个关系型数据

库。类型(type)

代表document属于index中的哪个类别（type）也有一种说法一种type就像是数据库的表，

比如dept表，user表。

注意ES每个大版本之间区别很大：

ES 5.x中一个index可以有多种type。

ES 6.x中一个index只能有一种type。

ES 7.x以后 要逐渐移除type这个概念。映射(mapping)

mapping定义了每个字段的类型等信息。相当于关系型数据库中的表结构。

常用数据类型：text、keyword、number、array、range、boolean、date、geo_point、ip、

nested、object

https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html#multifields_2

第2节 Elasticsearch API介绍

Elasticsearch提供了Rest风格的API，即http请求接口，而且也提供了各种语言的客户端API。

Rest风格API

文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

客户端API

Elasticsearch支持的语言客户端非常多：https://www.elastic.co/guide/en/elasticsearch/client/i

ndex.html，我们在实战时将使用到Java客户端API

ElasticSearch没有自带图形化界面，我们可以通过安装ElasticSearch的图形化插件，完成图形化界面的 效果，完成索引数据的查看,比如可视化插件Kibana。

第3节 安装配置kibana

1.什么是Kibana

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具，可以利用Elasticsearch的聚合功

能，生成各种图表，如柱形图，线状图，饼图等。

而且还提供了操作Elasticsearch索引数据的控制台，并且提供了一定的API提示，非常有利于我们学习

Elasticsearch的语法。

2.安装Kibana

1) 下载Kibana

Kibana与操作系统

2) 安装kibana

root账户下操作

tar -zxvf kibana-7.3.0-linux-x86_64.tar.gzmv /root/kibana-7.3.0-linux-x86_64 /usr/kibana/

改变es目录拥有者账号

chown -R estest /usr/kibana/

还需要设置访问权限

chmod -R 777 /usr/kibana/

修改配置文件

vim /usr/kibana/config/kibana.yml

修改端口，访问ip,elasticsearch服务器ip

server.port: 5601server.host: "0.0.0.0"# The URLs of the Elasticsearch instances to use for all your queries. elasticsearch.hosts: ["http://192.168.211.136:9200"]

配置完成启动：

切换用户su estest./bin/kibana(路径：/usr/kibana)

没有error错误启动成功：

3) kidbana使用页面

选择左侧的DevTools菜单，即可进入控制台页面：

在页面右侧，我们就可以输入请求，访问Elasticsearch了。

4 ）扩展kibana dev tools快捷键：

ctrl+enter 提交请求ctrl+i 自动缩进

第4节 Elasticsearch集成IK分词器

1. 集成IK分词器

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从12月推出1.0版 开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

IK分词器3.0的特性如下：

1） 采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。2） 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数 量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。 3）支持个人词条的优化的词典存储，更小的内存占用。4） 支持用户词典扩展定义。5） 针对Lucene全文检索优化的查询分析器IKQueryParser；采用歧义分析算法优化查询关键字的搜索 排列组合，能极大的提高Lucene检索的命中率。

下载地址：

</medcl/elasticsearch-analysis-ik/releases/tag/v7.3.0>

下载插件并安装(安装方式一)

1）在elasticsearch的bin目录下执行以下命令,es插件管理器会自动帮我们安装，然后等待安装完成：

cd /usr/elasticsearch/bin/elasticsearch-plugin install/medcl/elasticsearch-analysisik/releases/download/v7.3.0/elasticsearch-analysis-ik-7.3.0.zip

2）下载完成后会提示 Continue with installation?输入 y 即可完成安装

3）重启Elasticsearch 和Kibana

上传安装包安装 (安装方式二)

1）在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录

#新建analysis-ik文件夹mkdir analysis-ik#切换至 analysis-ik文件夹下cd analysis-ik#上传资料中的 elasticsearch-analysis-ik-7.3.0.zip#解压unzip elasticsearch-analysis-ik-7.3.3.zip#解压完成后删除ziprm -rf elasticsearch-analysis-ik-7.3.0.zip

2） 重启Elasticsearch 和Kibana

测试案例IK分词器有两种分词模式：ik_max_word和ik_smart模式。1）ik_max_word (常用)会将文本做最细粒度的拆分2）ik_smart会做最粗粒度的拆分大家先不管语法，我们先在Kibana测试一波输入下面的请求：

POST _analyze{"analyzer": "ik_max_word","text": "南京市长江大桥"}

ik_max_word 分词模式运行得到结果：

{"tokens": [{"token": "南京市", "start_offset": 0,"end_offset": 3, "type": "CN_WORD","position": 0},{"token": "南京", "start_offset": 0,"end_offset": 2, "type": "CN_WORD","position": 1},{"token": "市长", "start_offset": 2,"end_offset": 4, "type": "CN_WORD","position": 2},{"token": "长江大桥", "start_offset": 3,"end_offset": 7, "type": "CN_WORD","position": 3},{"token": "长江", "start_offset": 3,"end_offset": 5, "type": "CN_WORD","position": 4},{"token": "大桥", "start_offset": 5,"end_offset": 7, "type": "CN_WORD","position": 5}]}

POST _analyze{"analyzer": "ik_smart","text": "南京市长江大桥"}

ik_smart分词模式运行得到结果：

{"tokens": [{"token": "南京市","start_offset": 0,"end_offset": 3,"type": "CN_WORD","position": 0},{"token": "长江大桥","start_offset": 3,"end_offset": 7,"type": "CN_WORD","position": 1}]}

如果现在假如江大桥是一个人名，是南京市市长，那么上面的分词显然是不合理的，该怎么办？

2 扩展词典使用

扩展词：就是不想让哪些词被分开，让他们分成一个词。比如上面的江大桥

自定义扩展词库

1）进入到 config/analysis-ik/(插件命令 安装方式) 或 plugins/analysis-ik/config(安装包安装方式) 目录下, 新增自定义词典

vim lagou_ext_dict.dic

输入 ：江大桥

2）将我们自定义的扩展词典文件添加到IKAnalyzer.cfg.xml配置中

vim IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE properties SYSTEM "/dtd/properties.dtd"><properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict">lagou_ext_dict.dic</entry><!--用户可以在这里配置自己的扩展停止词字典--><entry key="ext_stopwords">lagou_stop_dict.dic</entry><!--用户可以在这里配置远程扩展字典 --><!-- <entrykey="remote_ext_dict">http://192.168.211.130:8080/tag.dic</entry> --><!--用户可以在这里配置远程扩展停止词字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> --></properties>

3）重启Elasticsearch

3 停用词典使用

停用词：有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。例如英文的a、 an、the、of等。或中文的”的、了、呢等”。这样的词称为停用词。停用词经常被过滤掉，不会被进行 索引。在检索的过程中，如果用户的查询词中含有停用词，系统会自动过滤掉。停用词可以加快索引的 速度，减少索引库文件的大小。

自定义停用词库

1） 进入到 config/analysis-ik/(插件命令安装方式) 或 plugins/analysis-ik/config(安装包安装方式) 目录下, 新增自定义词典

vim lagou_stop_dict.dic

输入

的了啊

2）将我们自定义的停用词典文件添加到IKAnalyzer.cfg.xml配置中

3）重启Elasticsearch

4 同义词典使用

语言博大精深，有很多相同意思的词，我们称之为同义词，比如“番茄”和“西红柿”，“馒头”和“馍”等。在 搜索的时候，我们输入的可能是“番茄”，但是应该把含有“西红柿”的数据一起查询出来，这种情况叫做 同义词查询。

注意：扩展词和停用词是在索引的时候使用，而同义词是检索时候使用。

配置IK同义词

Elasticsearch 自带一个名为 synonym 的同义词 filter。为了能让 IK 和 synonym 同时工作，我们需要定义新的 analyzer，用 IK 做 tokenizer，synonym 做 filter。听上去很复杂，实际上要做的只是加一段配置。

1）创建/config/analysis-ik/synonym.txt 文件，输入一些同义词并存为 utf-8 格式。例如

lagou,拉勾china,中国

2）创建索引时，使用同义词配置，示例模板如下

PUT /索引名称{"settings": {"analysis": {"filter": {"word_sync": {"type": "synonym","synonyms_path": "analysis-ik/synonym.txt"}},"analyzer": {"ik_sync_max_word": {"filter": ["word_sync"],"type": "custom","tokenizer": "ik_max_word"},"ik_sync_smart": {"filter": ["word_sync"],"type": "custom","tokenizer": "ik_smart"}}}},"mappings": {"properties": {"字段名": {"type": "字段类型","analyzer": "ik_sync_smart","search_analyzer": "ik_sync_smart"}}}}

以上配置定义了ik_sync_max_word和ik_sync_smart这两个新的 analyzer，对应 IK 的 ik_max_word 和ik_smart 两种分词策略。ik_sync_max_word和 ik_sync_smart都会使用 synonym filter 实现同义词转换

3）到此，索引创建模板中同义词配置完成，搜索时指定分词为ik_sync_max_word或ik_sync_smart。

4）案例

PUT /lagou-es-synonym{"settings": {"analysis": {"filter": {"word_sync": {"type": "synonym","synonyms_path": "analysis-ik/synonym.txt"}},"analyzer": {"ik_sync_max_word": {"filter": ["word_sync"],"type": "custom","tokenizer": "ik_max_word"},"ik_sync_smart": {"filter": ["word_sync"],"type": "custom","tokenizer": "ik_smart"}}}},"mappings": {"properties": {"name": {"type": "text","analyzer": "ik_sync_max_word","search_analyzer": "ik_sync_max_word"}}}}

插入数据

POST /lagou-es-synonym/_doc/1{"name":"拉勾是中国专业的互联网招聘平台"}

使用同义词"lagou"或者“china”进行搜索

POST /lagou-es-synonym/_doc/_search{"query": {"match": {"name": "lagou"}}}

第5节 索引操作（创建、查看、删除）

1. 创建索引库

Elasticsearch采用Rest风格API，因此其API就是一次http请求，你可以用任何工具发起http请求

语法

PUT /索引名称{"settings": {"属性名": "属性值"}}

settings：就是索引库设置，其中可以定义索引库的各种属性 比如分片数 副本数等，目前我们可以不设置，都走默认

示例

PUT /lagou-company-index

可以看到索引创建成功了。

2. 判断索引是否存在

语法

HEAD /索引名称

示例 HEAD /lagou-company-index

3.查看索引

Get请求可以帮我们查看索引的相关属性信息，格式：

查看单个索引语法

GET /索引名称

示例 GET /lagou-company-index

批量查看索引语法

GET /索引名称1,索引名称2,索引名称3,...

查看所有索引

方式一

GET _all

方式二

GET /_cat/indices?v

绿色：索引的所有分片都正常分配。黄色：至少有一个副本没有得到正确的分配。红色：至少有一个主分片没有得到正确的分配。

4. 打开索引

语法

POST /索引名称/_open

5.关闭索引

语法

POST /索引名称/_close

6. 删除索引库

删除索引使用DELETE请求

语法

DELETE /索引名称1,索引名称2,索引名称3...

示例

再次查看，返回索引不存在

第6节 映射操作

索引创建之后，等于有了关系型数据库中的database。Elasticsearch7.x取消了索引type类型的设置， 不允许指定类型，默认为_doc，但字段仍然是有的，我们需要设置字段的约束信息，叫做字段映射（mapping）

字段的约束包括但不限于：

字段的数据类型是否要存储是否要索引分词器

我们一起来看下创建的语法。

1. 创建映射字段

语法

https://www.elastic.co/guide/en/elasticsearch/reference/7.3/mapping-params.html

字段名：任意填写，下面指定许多属性，例如：

type：类型，可以是text、long、short、date、integer、object等index：是否索引，默认为truestore：是否存储，默认为falseanalyzer：指定分词器

示例

发起请求：

PUT /lagou-company-indexPUT /lagou-company-index/_mapping/{"properties": {"name": {"type": "text","analyzer": "ik_max_word"},"job": {"type": "text","analyzer": "ik_max_word"},"logo": {"type": "keyword","index": "false"},"payment": {"type": "float"}}}

响应结果：

上述案例中，就给lagou-company-index这个索引库设置了4个字段：

name：企业名称job: 需求岗位logo：logo图片地址payment：薪资

并且给这些字段设置了一些属性，至于这些属性对应的含义，我们在后续会详细介绍。

2. 映射属性详解

1）type

Elasticsearch中支持的数据类型非常丰富：

https://www.elastic.co/guide/en/elasticsearch/reference/7.3/mapping-types.html

我们说几个关键的：

tring类型，又分两种： text：

可分词，不可参与聚合keyword：不可分词，数据会作为完整字段进行匹配，可以参与聚合

Numerical：数值类型，分两类

基本数据类型：long、interger、short、byte、double、float、half_float 浮点数的高精度类型：scaled_float需要指定一个精度因子，比如10或100。elasticsearch会把真实值乘以这个因子后存储，取出时再原。

Date：日期类型

elasticsearch可以对日期格式化为字符串存储，但是建议我们存储为毫秒值，存储为long，节省空间。

Array：数组类型

进行匹配时，任意一个元素满足，都认为满足排序时，如果升序则用数组中的最小值来排序，如果降序则用数组中的最大值来排序

Object：对象

{"name": "Jack","age": 21,"girl": {"name": "Rose","age": 21}}

如果存储到索引库的是对象类型，例如上面的girl，会把girl变成两个字段：girl.name和girl.age 2）

index

index影响字段的索引情况。

true：字段会被索引，则可以用来进行搜索。默认值就是truefalse：字段不会被索引，不能用来搜索

index的默认值就是true，也就是说你不进行任何配置，所有字段都会被索引。

但是有些字段是我们不希望被索引的，比如企业的logo图片地址，就需要手动设置index为false。