elastic:富有弹性的
search:搜索
此软件不再是SpringColud提供的,他也不针对微服务的项目开发
Elasticsearch和Redis/mysqly一样,不仅服务于java开发，其他语言也可以使用
它的功能类似于数据库,能高效的从大量数据中搜索匹配指定关键字的内容
数据保存在硬盘中
Es的底层:
使用了一套名为Lucene的API
这个API提供了全文搜索引擎核心操作的接口,相当于搜索引擎的核心支持,ES是在Lucene的基础上进行完善,实现了开箱即用的搜索引擎
市面上和ES功能类似的软件有:
Solr/MongoDB
为什么需要使用Elasticsearch?
数据库进行模糊查询效率严重低下
所有关系型数据库也有这个缺点:mysql\mariaDB\oracle\DB2等
Elaticsearch主要是为了解决数据库模糊查询性能低下问题
ES进行优化之后,从同样数据库的ES中查询相同条件数据,效率能够提高100倍以上
说到这里就不得不提一下数据库的索引 :
所谓的索引(index) 其实就是数据目录
通常情况下,索引是为了提高查询效率的
索引面试题
1.创建索引会占用硬盘空间
2.创建索引之后,对该表进行增删改操作时,会引起索引的更新,所以效率会降低
3.对数据库进行批量新增时,先删除索引,增加完毕之后再创建
4.不要对数据样本少的列添加索引
5.模糊查询时,查询条件前模糊的情况,是无法启用索引的
6.每次从数据表中查询的数据的比例越高,索引的效果越低
数据库索引分为两大类:
1.聚焦索引
2.非聚焦索引
所谓聚焦索引就是数据库保存数据的物理顺序依据，默认情况下就是主键id，所以按照id查询数据库中的数据效率非常高
而非聚焦索引则是如果在非主键上添加索引就是非索引聚焦了
而模糊查询时如查询'%XX',使用的就是前模糊条件,而使用索引又必须明确前面的内容是什么,所以前模糊查询是不能使用索引的,只能做全表的查询，但是查询效率低
所以当我们要做根据用户输入关键字进行模糊查询时, 需要使用全文搜索引擎来优化
Elasticsearch运行原理
要想使用ES来提高模糊查询效率
要先将数据库复制到ES中
在新增数据到ES中,ES可以对指定的列进行分词索引保存到索引库中
形成倒排索引结构
ES的简单使用:
<dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency></dependencies>
进行pom文件配置后,需要创建一个能向ES发送请求的文件
这种能向指定url发送请求的格式文件称之为http client(http客户端)
先向es发送指令:
### 三个#开头,表示注释,也是分割符,http文件要求每个请求必须以分隔符开始,否则运行就会混乱报错GET http://localhost:9200
测试ES的分词功能
### 测试ES的分词功能,运行请求,查看分词结果POST http://localhost:9200/_analyzeContent-Type: application/json{"text": "my name is hanmeimei","analyzer": "standard"}
analyze:分析
standard是ES默认的分词器,"analyzer": "standard"是可以省略的
standard这个分词器只能对英文等西文字符(用空格分隔单词的),进行正确分词
但是中文分词不能按空格分,按这个分词器分词,每个字都会形成分词,这样的结果不能满足我们的需要
为了解决中文不能分词的问题:
要引入一个中文常用词语的类库,分词时按照词库中的进行分词即可
可以使用免费的中文分
{"text": "罗技激光鼠标","analyzer": "ik_smart"}
词器插件ik来实现中文分词
ik分词插件的种类
我们安装的ik实际上不只一个分词器
实际上除了ik_smart之外还有ik_max_word
POST http://localhost:9200/_analyzeContent-Type: application/json{"text": "北京冬季奥林匹克运动会顺利闭幕","analyzer": "ik_max_word"}
POST http://localhost:9200/_analyzeContent-Type: application/json{"text": "北京冬季奥林匹克运动会顺利闭幕","analyzer": "ik_smart"}
ik_smart
优点:特征是粗略快速的将文字进行分词,占用空间小,查询速度快
缺点:分词的颗粒度大,可能跳过一些重要分词,导致查询结果不全面,查全率低
ik_max_word
优点:特征是详细的文字片段进行分词,查询时查全率高,不容易遗漏数据缺点:因为分词太过详细,导致有一些无用分词,占用空间较大,查询速度慢
使用ES操作数据
ES是一个数据库性质的软件
可以执行增删改查操作,只是他操作数据不使用sql,数据的结构和关系型数据库也不同
ES启动后,ES服务可以创建多个index(索引),index可以理解为数据库中表的概念
一个index可以创建多个保存数据的document(文档),一个document理解为数据库中的一行数据
SpringBoot操作Elasticsearch
原生状态下我们使用JDBC连接数据库，因为代码过于繁琐所以采用Mybatis框架
在原生状态下，我们要使用socket访问ES，但过于繁琐所以采用SpringData框架简化
SpringData是Spring提供的一套连接第三方数据源的框架集
我们需要使用的是其中连接ES的Spring Data Elasticsearch
官方网站:Spring Data
首先在pom文件添加依赖:
<?xml version="1.0" encoding="UTF-8"?><project xmlns="/POM/4.0.0" xmlns:xsi="/2001/XMLSchema-instance"xsi:schemaLocation="/POM/4.0.0 /xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><parent><groupId>cn.tedu</groupId><artifactId>csmall</artifactId><version>0.0.1-SNAPSHOT</version><relativePath/> <!-- lookup parent from repository --></parent><groupId>cn.tedu</groupId><artifactId>search</artifactId><version>0.0.1-SNAPSHOT</version><name>search</name><description>Demo project for Spring Boot</description><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><!-- Spring Data Elasticsearch整合SpringBoot的依赖 --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId></dependency></dependencies></project>
勇士添加application.pproperties配置
# 配置ES的ip和端口spring.elasticsearch.rest.uris=http://localhost:9200# 设置日志门槛.tedu.search=debug# SpringDataElasticsearch框架内部有一个输出日志信息的类,也要设置门槛.elasticsearch.client.RestClient=debug
创建和ES关联的实体类
实体类(entity)：
@Data@Accessors(chain = true) // 支持链式set赋值@AllArgsConstructor // 自动生成包含全部参数的构造方法@NoArgsConstructor // 自动生成无参数的构造方法// @Document注解标记当前类是ES框架对应的实体类// 属性indexName指定ES中对应的索引名称,运行时,如果这个索引不存在,SpringData会自动创建它@Document(indexName = "items")public class Item implements Serializable {// SpringData通过@Id注解来标记当前实体类的主键@Idprivate Long id;@Field(type = FieldType.Text,analyzer = "ik_max_word",searchAnalyzer = "ik_max_word")private String title;// FieldType.Keyword类型表示当前字段是不需要分词的字符串@Field(type = FieldType.Keyword)private String category;@Field(type = FieldType.Keyword)private String brand;@Field(type = FieldType.Double)private Double price;// imgPath是图片路径的属性,不会成为搜索条件,所以这个列可以不创建索引,节省空间// index = false就是不创建索引的设置// 所谓不创建索引,只是不为当前字段创建索引列表,但是数据是保存在ES中的@Field(type = FieldType.Keyword,index = false)private String imgPath;
创建操作Es的持久层:
SpringData对持久层的命名规则
持久层名称为repository(仓库),创建这个包，包中创建接口
// Repository是Spring家族框架对持久层出现的类\接口的命名规范@Repositorypublic interface ItemRepository extends ElasticsearchRepository<Item,Long> {// ItemRepository接口继承SpringData框架提供的ElasticsearchRepository父接口// 继承之后当前接口就能够使用父接口中声明的操作Es的方法了// 父接口中的方法包含指定实体类对应ES索引的基本增删改查// ElasticsearchRepository<[要操作的实体类],[实体类的主键类型]>}
测试ES
如果没有测试包,创建test测试包
如果没有测试类,创建测试类
编写测试
@SpringBootTestclass SearchApplicationTests {@Autowiredprivate ItemRepository itemRepository;// 执行单增@Testvoid addOne() {// 实例化Item对象Item item=new Item().setId(1L).setTitle("罗技激光无线游戏鼠标").setCategory("鼠标").setBrand("罗技").setPrice(186.0).setImgPath("/1.jpg");// 利用SpringDataElasticsearch框架提供的新增方法,新增到ESitemRepository.save(item);System.out.println("ok");}// 单查@Testvoid getOne(){// SpringDataElasticsearch提供了按id查询ES中数据的方法// 返回值是一个Optional类型对象，声明了泛型,我们理解为只能保存一个元素的集合Optional<Item> optional = itemRepository.findById(1L);// 从这个容器中取出元素Item item=optional.get();System.out.println(item);}// 批量增@Testvoid addList(){// 实例化一个List,把要保存到ES中的数据添加这个集合中List<Item> list=new ArrayList<>();list.add(new Item(2L,"罗技激光有线办公鼠标","鼠标","罗技",78.0,"/2.jpg"));list.add(new Item(3L,"雷蛇机械无线游戏键盘","键盘","雷蛇",268.0,"/3.jpg"));list.add(new Item(4L,"微软有线静音办公鼠标","鼠标","微软",199.0,"/4.jpg"));list.add(new Item(5L,"罗技机械有线背光键盘","键盘","罗技",228.0,"/5.jpg"));itemRepository.saveAll(list);System.out.println("ok");}// 全查@Testvoid getAll(){// SpringDataElasticsearch提供的全查所有item的ES中数据的方法Iterable<Item> items = itemRepository.findAll();for(Item item : items){System.out.println(item);}System.out.println("----------------------------------------------------");items.forEach(item -> System.out.println(item));}}
