如何实现 Es 全文检索、高亮文本略缩处理（封装工具接口极致解耦）

分类：Elasticsearch作者：小咸鱼的技术窝

如何实现 Es 全文检索、高亮文本略缩处理

前言

最近手上在做 Es 全文检索的需求，类似于百度那种，根据关键字检索出对应的文章，然后高亮显示，特此记录一下，其实主要就是处理 Es 数据那块复杂，涉及到高亮文本替换以及高亮字段截取，还有要考虑到代码的复用性，是否可以将转换代码抽离出来，提供给不同结构的索引来使用。

技术选型

像市面上有的 Spring Data，码云上面的 GVP 项目 （EasyEs）等其他封装框架。使用起来确实很方便，但是考虑到由于开源项目的不稳定性且 Es 不同版本间语法差异比较大，还有一方面是公司之前用的一直是 Es 6，后续可能会涉及到 Es 的升级改造，于是决定使用原生的 Api。也就是使用 RestHighLevelClient。

JAVA 常用语法说明

查时间范围内的数据 BoolQuery 里面嵌套一个 RangeQuery 即可在RangeQuery 里面指定时间范围。BoolQuery.must() 各位理解为 Mybatis 中的 eq 方法即可，必须包含的意思。

   RangeQueryBuilder rangeQuery = QueryBuilders.rangeQuery(articleRequest.getSortType());
        if (StringUtils.isNotEmpty(articleRequest.getBeginTime())) {
            rangeQuery.gte(articleRequest.getBeginTime());
        }
        if (StringUtils.isNotEmpty(articleRequest.getEndTime())) {
            rangeQuery.lte(articleRequest.getEndTime());
        }
        boolQuery.must(rangeQuery);

BoolQuery.should() 方法可以理解为 OR 可包含可不包含，多字段全文检索时应用 shoud。

BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
boolQuery.should(QueryBuilders.matchPhraseQuery(articleRequest.getKeys()[i], articleRequest.getKeyword()));

termsQuery 字符精确匹配

QueryBuilders.termsQuery()

字符短句匹配，字符不会进行分词

QueryBuilders.matchPhraseQuery（）

分词匹配

QueryBuilders.multiMatchQuery（）

分词匹配加高亮对应 EQ（Es 的Sql，我自己给他取的名字！！！！）

GET /articlezzh/_doc/_search
{
  "from": 0,
  "size": 20,
  "query": {
    "bool": {
      "must": [
        {
          "multi_match": {
            "query": "你的购物节",
            "fields": [
              "title","author","body"
            ]
          }
        }
      ]
    }
  },
  "highlight": {
    "pre_tags": [
      "<em style='color: red'>"
    ],
    "post_tags": [
      "</em>"
    ],
    "fields": {
      "body":{},
      "author":{}
    }
  }
}

全文检索开发

核心代码如下

    BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
    if (StringUtils.isNotEmpty(articleRequest.getKeyword())) {
            for (int i = 0; i < articleRequest.getKeys().length; i++) {
                //根据短句匹配
                boolQuery.should(QueryBuilders.matchPhraseQuery(articleRequest.getKeys()[i], articleRequest.getKeyword()));
            }
        }

高亮开发

里面可以指定高亮的字段，以及高亮前缀，尾缀，API的调用，直接 copy 就行。

        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder()
                .highlighter(new HighlightBuilder()
                        .requireFieldMatch(false)
                        .field("author")
                        .field("title")
                        .field("body")
                        .field("attachments.filename")
                        .preTags(EsConstant.HIGHT_PREFIX)
                        .postTags(EsConstant.HIGHT_END)
                        //noMatchSize
                        //返回全部内容，方便后续的截取字符串操作
                        .fragmentSize(800000)
                        .numOfFragments(0))
                //过滤数据（最少满足一个 should 条件的数据才会被展示，否则过滤）
                .query(boolQuery.minimumShouldMatch(1))
                .from(articleRequest.getPage() - 1)
                .size(articleRequest.getSize());

Es Map 转对象使用

由于索引结构是已 ArticleResponse 格式存储的，查询的时候也需将的得到 SourceAsMap 转换成 ArticleResponse 格式，核心逻辑我都封装到 Trans 接口了。利用反射实现的，当然也可以用其他技术实现，例如 MapStruct 在编译期间就自动生成对应的 get、set 方法，比反射效率高点，毕竟反射是运行期间的属性映射！！！！

 SearchHits hits = restHighLevelClient.search(
                    new SearchRequest().indices(indexname).source(searchSourceBuilder)).getHits();
            for (SearchHit hit : hits) {
                result.add(new ArticleResponse().trans(hit.getSourceAsMap(),
                        hit.getHighlightFields(),
                        Collections.singletonList("attachments.filename")));

使用的话只需让 ArticleResponse 类实现 Trans 接口，即可调用里面的 trans 方法。

在这里插入图片描述

核心代码 Trans 接口（支持父类属性的复杂映射）

主要逻辑就是挨个拿到本身、然后递归获取父类的所有字段名称、字段类型放到一个 Map（nameTypeMap） 中，然后遍历 SourceAsMap 挨个进行字段类型匹配校验，如果是 String 类型直接进行反射填充属性。

在这里插入图片描述


非 String 类型，进行类型转换然后再进行属性填充。

在这里插入图片描述


以及高亮字段文本略缩的处理，主要就是用了下 Jsoup 中去除 Html 标签的 Api,本来想着让前端自己去找插件看能不能处理下的，无奈说处理不了，想了个取巧的方法，高亮标签我用特殊字符，然后去除所有的 html 标签后，我的特殊字符还存在，之后将特殊字符再次替换回高亮 Html 标签，这样就得到了只存在我自定义高亮 Html 标签的一段文本了，同时高亮标签里面我塞了一个 id，之后根据高亮标签中的 id 截取字符即可，即可实现文本略缩的效果，同事直呼秒啊哈哈哈哈

在这里插入图片描述

/**
 * map 转对象
 * author：zzh
 */
public interface Trans<T> {
    SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

    Class getTargetClass();

    /**
     * 逻辑写的太多了，可以搞几个抽象类抽分功能
     *
     * @param SourceAsMap           原始数据
     * @param highlightFieldsSource 高亮数据
     * @param highLightFields       高亮字段
     */
    default Object trans(Map<String, Object> SourceAsMap, Map<String, HighlightField> highlightFieldsSource, List<String> highLightFields) throws IntrospectionException, InstantiationException, IllegalAccessException {
        Object o = getTargetClass().newInstance();
        Class tclass = getTargetClass();
        HashMap<String, Class> nameTypeMap = new HashMap<>();
        //找到父类的所有字段
        do {
            Arrays.stream(tclass.getDeclaredFields()).forEach(field -> {
                field.setAccessible(true);
                //key：字段名称，value：字段类型
                nameTypeMap.put(field.getName(), field.getType());
            });
            tclass = tclass.getSuperclass();
        } while (!tclass.equals(Object.class));
        PropertyDescriptor[] propertyDescriptors = Introspector.getBeanInfo(o.getClass()).getPropertyDescriptors();
        Arrays.stream(propertyDescriptors).forEach(propertyDescriptor -> {
            if (!"targetClass".equals(propertyDescriptor.getName()) && !Objects.isNull(SourceAsMap.get(propertyDescriptor.getName()))) {
                try {
                    Method writeMethod = propertyDescriptor.getWriteMethod();
                    if (null != writeMethod) {
                        if (!Modifier.isPublic(writeMethod.getDeclaringClass().getModifiers())) {
                            writeMethod.setAccessible(true);
                        }
                        Object sourceValue = SourceAsMap.get(propertyDescriptor.getName());
                        //父类以及自己所有字段类型
                        Class aClass = nameTypeMap.get(propertyDescriptor.getName());
                        //String 类型以及高亮直接赋值
                        if (sourceValue.getClass().equals(aClass)) {
                            HighlightField highlightObject = highlightFieldsSource.get(propertyDescriptor.getName());
                            //如果高亮字段是 body，为了避免高亮文本处于文章末尾搜索页显示不到的问题，因此采用截取字符串将高亮字段偏移至前面
                            if (EsConstant.HIGHT_FILED.equals(propertyDescriptor.getName()) && null != highlightObject) {
                                String highlightString = highlightObject.getFragments()[0].toString();
                                //去除所有 html 标签，并将自定义高亮前缀替换 span 标签，这样就实现了只保留高亮标签的目的了
                                highlightString = Jsoup.parse(highlightString).body().text()
                                        .replaceAll(EsConstant.HIGHT_PREFIX, EsConstant.HIGHT_PREFIX_HTML)
                                        .replaceAll(EsConstant.HIGHT_END, EsConstant.HIGHT_END_HTML);
                                //高亮字段前 50 个字到文章末尾
                                highlightString = highlightString.substring((highlightString.indexOf(EsConstant.HIGHT_HTML_ID) - EsConstant.HIGHT_SIZE) < 0
                                        ? 0 : (highlightString.indexOf(EsConstant.HIGHT_HTML_ID) - EsConstant.HIGHT_SIZE));
                                writeMethod.invoke(o, highlightObject != null ? highlightString : SourceAsMap.get(propertyDescriptor.getName()));
                            } else if (EsConstant.HIGHT_FILED.equals(propertyDescriptor.getName()) && null == highlightObject) {
                                //非高亮的 body 字段，也去除下 Html 标签
                                writeMethod.invoke(o, Jsoup.parse(String.valueOf(SourceAsMap.get(propertyDescriptor.getName()))).body().text());
                            } else {
                                //非 body 的其他高亮字段正常替换高亮文本
                                writeMethod.invoke(o, highlightObject != null ? highlightObject.getFragments()[0].toString()
                                        .replaceAll(EsConstant.HIGHT_PREFIX, EsConstant.HIGHT_END_HTML) : SourceAsMap.get(propertyDescriptor.getName()));

                            }

                        }
                        /**
                         * 类型不一致强转，这里可以搞个策略模式优化优化
                         */
                        else {
                            if (aClass.equals(Date.class)) {
                                Date parse = simpleDateFormat.parse(String.valueOf(SourceAsMap.get(propertyDescriptor.getName())));
                                writeMethod.invoke(o, parse);
                            }
                            if (aClass.equals(Integer.class)) {
                                writeMethod.invoke(o, Integer.valueOf(String.valueOf(SourceAsMap.get(propertyDescriptor.getName()))));
                            }
                            if (aClass.equals(Long.class)) {
                                writeMethod.invoke(o, Long.valueOf(String.valueOf(SourceAsMap.get(propertyDescriptor.getName()))));
                            }
                            if (aClass.equals(List.class)) {
                                //获取指定属性的 List
                                ArrayList<Map<String, Object>> oraginSources = (ArrayList<Map<String, Object>>) SourceAsMap.get(propertyDescriptor.getName());
                                //复杂对象高亮字段映射
                                if (null != oraginSources && 0 != highlightFieldsSource.size()) {
                                    for (int i = 0; i < oraginSources.size(); i++) {
                                        for (int j = 0; j < highLightFields.size(); j++) {
                                            try {
                                                if (highlightFieldsSource.containsKey(highLightFields.get(j))) {
                                                    oraginSources.get(i).put(highLightFields.get(j).split("\\.")[1],
                                                            highlightFieldsSource.get(highLightFields.get(j)).getFragments()[j].toString()
                                                                    .replaceAll(EsConstant.HIGHT_PREFIX, EsConstant.HIGHT_PREFIX_HTML)
                                                                    .replaceAll(EsConstant.HIGHT_END, EsConstant.HIGHT_END_HTML));
                                                }
                                            } catch (Exception e) {
                                                e.printStackTrace();
                                            }
                                        }
                                    }
                                }
                                writeMethod.invoke(o, oraginSources);
                            }
                            if (aClass.equals(int.class)) {
                                writeMethod.invoke(o, Integer.parseInt(String.valueOf(SourceAsMap.get(propertyDescriptor.getName()))));
                            }
                        }
                    } else throw new RuntimeException(propertyDescriptor.getName() + "~ writeMethod is null!!!!!");
                } catch (IllegalAccessException e) {
                    e.printStackTrace();
                } catch (InvocationTargetException e) {
                    e.printStackTrace();
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        });
        return o;
    }

}

Trans 接口可优化的点

  1. 优化点一：策略模式扩展多数据类型转换那部分的代码，这里就不贴出来了。
  2. 优化点二：支持多高亮字段略缩处理，也就是将这行代码改成 List 集合判断，但是我感觉没必要，一个字段略缩就够用了。
EsConstant.HIGHT_FILED.equals(propertyDescriptor.getName())
  1. 配置文件也可以用策略模式，或者利用 Spi 机制动态加载。（针对项目要开源的情况下说的），这块的内容可以看我以往写过的 Spi 文章。
  2. 可以搞个文章内容里面涉及到关键字的地方就略缩一下，举个例子，查（地瓜）的时候，返回的数据是这样的（ …地瓜…地瓜），而现在的效果是（地瓜…），希望别让我改！！！！我觉得我现在这样也够用了。
  3. 代码逻辑再次解耦，可以利用抽象类的性质，按照功能细分职责,毕竟很多框架源码就是这么干的，一堆的抽象类封装通用逻辑

高亮全局配置类如下

为了方便后期维护，将用到的配置封装了一下，大家可自行替换用 Nacos 配置中心也好，还是用枚举类也好，修改一下代码即可

public class EsConstant {
    //高亮前缀唯一 id，可自行定义
    public static String HIGHT_PREFIX = "zzhSatat";
    //高亮尾缀唯一 id，可自行定义
    public static String HIGHT_END = "zzhEnd";
    //高亮尾缀
    public static String HIGHT_END_HTML = "</span>";
    //高亮标签 id，可自行定义
    public static String HIGHT_HTML_ID = "zzh";
    //截取高亮字段前字符串长度
    public static int HIGHT_SIZE = 50;
    //高亮前缀
    public static String HIGHT_PREFIX_HTML = "<span style='color:red',id='" + HIGHT_HTML_ID + "'>";
    //略缩字段
    public static String HIGHT_FILED = "body";
}

真实项目落地效果

在这里插入图片描述


复杂对象高亮字段替换效果

在这里插入图片描述

为什么不用 numOfFragments、fragmentSize 参数控制略缩？

数据库中的文章内容直接存的 Html 页面，用这俩参数截取字符串的话，截取到的文本会含残缺的 Html 标签，效果直接 Pass，当然对于纯文本类型的字段可以用这俩个参数进行控制，不用写截取字符串的逻辑！

原文地址：https://blog.csdn.net/qq_42875345/article/details/133670963

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

typescript项目css modules
文章浏览阅读774次，点赞24次，收藏16次。typescript项目中我们使用typings-for-css-modules-loader来替代css-loader实现css modules。1、typings-for-css-modules-loader加载器介绍 Webpack加载器，用作css-loader的替代产品，可动态生成CSS模块的TypeScript类型这句话是什么意思呢？就是编译时处理css文件...
使用 create-react-app 搭建项目ts+less+antd+redux+router+eslint+prettier+axios
文章浏览阅读784次。react router redux antd eslint prettier less axios_react+antd+redux+less
【Error】elasticsearch修改密码报错，elasticsearch-setup-passwords interactive
文章浏览阅读3.9k次，点赞5次，收藏11次。需要删除.security-7索引文件。把在第1步中的被注释的配置打开。之后就是按照提示输入密码。执行bin目录下的文件。_failed to authenticate user 'elastic' against
Centos 8 安装 Elasticsearch
文章浏览阅读1.2k次，点赞23次，收藏24次。Centos 8 安装es_centos8 yum elasticsearch
ES设置⽤户名和密码
文章浏览阅读3.2k次。设置完之后，数据会⾃动同步到其他节点。修改密码时，将第⼀步配置删除，然后重启。单独使⽤⼀个节点⽣成证书；执⾏设置⽤户名和密码的命令。执⾏完上⾯命令以后就可以在。⽂件，在⾥⾯添加如下内容。这个⽂件复制到其他节点下。其中⼀个节点设置密码即可。依次对每个账户设置密码。全部节点都要重启⼀遍。需要在配置⽂件中开启。个⽤户分别设置密码，⽬录下，证书⽂件名为。功能，并指定证书位置。_es设置账号和密码
MySQL与ES数据同步的四种方案及实践演示
文章浏览阅读1.9k次，点赞2次，收藏7次。针对多数据源写入的场景，可以借助MQ实现异步的多源写入，这种情况下各个源的写入逻辑互不干扰，不会由于单个数据源写入异常或缓慢影响其他数据源的写入，虽然整体写入的吞吐量增大了，但是由于MQ消费是异步消费，所以不适合实时业务场景。不易出现数据丢失问题，主要基于MQ消息的消费保障机制，比如ES宕机或者写入失败，还能重新消费MQ消息。针对这种情况，有数据强一致性要求的，就必须双写放到事务中来处理，而一旦用上事物，则性能下降更加明显。可能出现延时问题：MQ是异步消费模型，用户写入的数据不一定可以马上看到，造成延时。_mysql同步es
【送书福利-第十九期】《C++ Core Guidelines解析》
文章浏览阅读3.6w次，点赞48次，收藏44次。【程序员洲洲送书福利-第十九期】《C++ Core Guidelines解析》
Vue rules校验规则详解
文章浏览阅读1.3k次。当我们在开发Vue应用时，经常需要对表单进行校验，以确保用户输入的数据符合预期。Vue提供了一个强大的校验规则机制，通过定义rules规则，可以方便地对表单进行验证，并给出相应的错误提示。_vue ruler校验
Linux内核源码下载地址及方式
文章浏览阅读2k次，点赞16次，收藏12次。Linux内核源码下载地址及方式_linux源码下载
skywalking日志落到es字段timestamp不为date问题解决
文章浏览阅读1k次。这样在每天自动生成的索引skywalking_log_xxx就会使用上述模版来生成，timestamp会被设置成date类型。然后此时在–>索引管理–>kibana–>索引模式添加skywalking_log*索引时就会有时间字段了。在通过skywalking将日志收集到es后，由于skywalking收集的日志(skywalking_log索引)没有date类型的字段导致在es上再索引模式中没有时间范围的查询。skywalking收集的日志有时间戳字段timestamp，只是默认为long类型。_skywalking timestamp
Git学习笔记——创建版本库
文章浏览阅读937次，点赞18次，收藏21次。1.初始化git仓库，使用git int命令。2.添加文件到git仓库，两步走:2.1 使用命令，注意，可反复多次使用，添加多个文件；2.2 使用命令，完成。此笔记是我个人学习记录笔记，通过廖雪峰的笔记进行学习，用自己能理解的笔记记录下来，如果侵权，联系删。不存在任何盈利性质，单纯发布后，用于自己学习回顾。
git如何配置多个远程仓库，并且进行切换
文章浏览阅读786次，点赞8次，收藏7次。上述示例中的 origin 是远程仓库的名称，https://github.com/example/repository.git 是远程仓库的 URL，(fetch) 表示该远程仓库用于获取更新，(push) 表示该远程仓库用于推送更新。你可以选择在本地仓库创建与远程仓库分支对应的本地分支，也可以直接将本地仓库的分支推送到远程仓库的对应分支。将 替换为远程仓库的名称（例如 origin）， 替换为要推送的本地分支的名称， 替换为要推送到的远程分支的名称。_git remote 智能切换仓库
【vue3+ts项目】配置eslint校验代码工具，eslint+prettier+stylelint
文章浏览阅读1.5k次。配置eslint校验代码工具_eslint 实时校验
Git介绍与安装使用
文章浏览阅读1.2k次，点赞28次，收藏26次。Git入门基础介绍，什么是Git,如何使用Git，以及Git的工作的基本原理
Elasticsearch基础篇(二)：Elasticsearch在windows和liunx上的安装部署
文章浏览阅读2.7k次。基于官方给出的几种不同环境不同的安装方式，本文将会选择在使用.zip文件在Windows上安装Elasticsearch在Linux或macOS上从存档文件安装ElasticsearchInstall Elasticsearch with Docker (此种方式待定)使用Docker安装Elasticsearch。_elasticsearch安装部署windows
【Linux驱动】内核模块编译 —— make modules 的使用（单模块编译、多模块编译）
文章浏览阅读3.3k次，点赞5次，收藏11次。【Linux驱动】内核模块编译 —— make modules 的使用（单模块编译、多模块编译）_make modules
ES启动报错：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
文章浏览阅读1k次。docker启动es报错_max virtual memory areas vm.max_map_count [65530] is too low, increase to at
【Kibana启动报错】Unable to retrieve version information from Elasticsearch nodes.
文章浏览阅读4.2k次，点赞2次，收藏6次。使用docker单机安装elasticsearch后再安装kibana时找不到es。_unable to retrieve version information from elasticsearch nodes. security_ex
【elasticsearch专题】：Logstash从入门到同步MySQL数据
文章浏览阅读1.1k次。日志处理对于任何现代IT系统都是关键部分，本教程专为新手设计，通过详细解释Logstash的三大核心组件，为您展示如何从零开始搭建强大的日志处理系统。您还将学习如何同步MySQL数据到Elasticsearch，并通过一个"Hello World"示例快速入门。无论您是完全的新手还是有一些基础，本教程都将引导您顺利掌握Logstash的基本操作和高级应用。_logstash mysql
git remote add origin详解
文章浏览阅读1.1w次，点赞5次，收藏25次。执行这条指令之后，你的本地项目就与远程Git仓库建立了连接，你就可以开始对你的代码进行版本追踪和协作开发了。使用“git remote add origin”指令，可以轻松地将本地项目连接到远程Git仓库。git remote set-url origin 执行这条指令之后，Git就会将已经添加的名为“origin”的仓库删除。git remote add origin 其中，是你的远程Git仓库的网址。_git remote add origin
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot