使用 ElasticSearch 作为知识库，存储向量及相似性搜索

分类：Elasticsearch作者：小毕超

一、ElasticSearch 向量存储及相似性搜索

在当今大数据时代，快速有效地搜索和分析海量数据成为了许多企业和组织的重要需求。Elasticsearch 作为一款功能强大的分布式搜索和分析引擎，为我们提供了一种优秀的解决方案。除了传统的文本搜索，Elasticsearch 还引入了向量存储的概念，以实现更精确、更高效的相似性搜索。

在 Elasticsearch 中，我们可以将文档或数据转换为数值化向量的方法存入。每个文档被表示为一个向量，其中每个维度对应于文档中的一个特征或属性。这种向量化的表示使得文档之间的相似性计算变得可能。

使用场景：

  1. 相似文档搜索：通过将文档转换为向量，并使用向量相似性函数，如 dot product 或 cosine similarity，可以快速找到与查询文档最相似的文档，从而实现精确且高效的相似文档搜索。

  2. 推荐系统：将用户和商品等表示为向量，可以根据用户的喜好和行为，推荐与其兴趣相似的商品。

  3. 图像搜索：将图像转换为向量表示，并使用相似性度量，可以在图像库中快速找到与查询图像相似的图像。

下面基于上篇文章使用到的 Chinese-medical-dialogue-data 中文医疗对话数据作为知识内容进行实验。

本篇实验使用 ES 版本为：7.14.0

二、Chinese-medical-dialogue-data 数据集

GitHub 地址如下：

https://github.com/Toyhom/Chinese-medical-dialogue-data

数据分了 6 个科目类型：

在这里插入图片描述

数据格式如下所示：

在这里插入图片描述

其中 ask 为病症的问题描述，answer 为病症的回答。

由于数据较多，本次实验仅使用 IM_内科 数据的前 5000 条数据进行测试。

三、Embedding 模型

Embedding 模型使用开源的 chinese-roberta-wwm-ext-large ，该模型输出为 1024 维。

huggingface 地址：

https://huggingface.co/hfl/chinese-roberta-wwm-ext-large

基本使用如下：

from transformers import BertTokenizer, BertModel
import torch

# 模型下载的地址
model_name = 'D:\\AIGC\\model\\chinese-roberta-wwm-ext-large'

def embeddings(docs, max_length=300):
    tokenizer = BertTokenizer.from_pretrained(model_name)
    model = BertModel.from_pretrained(model_name)
    # 对文本进行分词、编码和填充
    input_ids = []
    attention_masks = []
    for doc in docs:
        encoded_dict = tokenizer.encode_plus(
            doc,
            add_special_tokens=True,
            max_length=max_length,
            padding='max_length',
            truncation=True,
            return_attention_mask=True,
            return_tensors='pt'
        )
        input_ids.append(encoded_dict['input_ids'])
        attention_masks.append(encoded_dict['attention_mask'])

    input_ids = torch.cat(input_ids, dim=0)
    attention_masks = torch.cat(attention_masks, dim=0)

    # 前向传播
    with torch.no_grad():
        outputs = model(input_ids, attention_mask=attention_masks)

    # 提取最后一层的CLS向量作为文本表示
    last_hidden_state = outputs.last_hidden_state
    cls_embeddings = last_hidden_state[:, 0, :]
    return cls_embeddings


if __name__ == '__main__':
    res = embeddings(["你好，你叫什么名字"])
    print(res)
    print(len(res))
    print(len(res[0]))

运行后可以看到如下日志：

在这里插入图片描述

四、ElasticSearch 存储向量

创建向量索引

PUT http://127.0.0.1:9200/medical_index

{
    "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 1
    },
    "mappings": {
        "properties": {
            "ask_vector": {  
                "type": "dense_vector",  
                "dims": 1024  
            },
			"ask": {  
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_smart"
            },
            "answer": {  
                "type": "text",
                "search_analyzer": "ik_smart"
            }
        }
    }
}

其中 dims 为向量的长度。

在这里插入图片描述

查看创建的索引：

GET http://127.0.0.1:9200/medical_index

在这里插入图片描述

数据存入 ElasticSearch

引入 ElasticSearch 依赖库：

pip install elasticsearch -i https://pypi.tuna.tsinghua.edu.cn/simple

from elasticsearch import Elasticsearch
from transformers import BertTokenizer, BertModel
import torch
import pandas as pd


def embeddings_doc(doc, tokenizer, model, max_length=300):
    encoded_dict = tokenizer.encode_plus(
        doc,
        add_special_tokens=True,
        max_length=max_length,
        padding='max_length',
        truncation=True,
        return_attention_mask=True,
        return_tensors='pt'
    )
    input_id = encoded_dict['input_ids']
    attention_mask = encoded_dict['attention_mask']

    # 前向传播
    with torch.no_grad():
        outputs = model(input_id, attention_mask=attention_mask)

    # 提取最后一层的CLS向量作为文本表示
    last_hidden_state = outputs.last_hidden_state
    cls_embeddings = last_hidden_state[:, :]
    return cls_embeddings[0]


def add_doc(index_name, id, embedding_ask, ask, answer, es):
    body = {
        "ask_vector": embedding_ask.tolist(),
        "ask": ask,
        "answer": answer
    }
    result = es.create(index=index_name, id=id, doc_type="_doc", body=body)
    return result


def main():
    # 模型下载的地址
    model_name = 'D:\\AIGC\\model\\chinese-roberta-wwm-ext-large'
    # ES 信息
    es_host = "http://127.0.0.1"
    es_port = 9200
    es_user = "elastic"
    es_password = "elastic"
    index_name = "medical_index"

    # 数据地址
    path = "D:\\AIGC\\dataset\\Chinese-medical-dialogue-data\\Chinese-medical-dialogue-data\\Data_数据\\IM_内科\\内科5000-33000.csv"

    # 分词器和模型
    tokenizer = BertTokenizer.from_pretrained(model_name)
    model = BertModel.from_pretrained(model_name)

    # ES 连接
    es = Elasticsearch(
        [es_host],
        port=es_port,
        http_auth=(es_user, es_password)
    )

    # 读取数据写入ES
    data = pd.read_csv(path, encoding='ANSI')
    for index, row in data.iterrows():
        # 写入前 5000 条进行测试
        if index >= 500:
            break
        ask = row["ask"]
        answer = row["answer"]
        # 文本转向量
        embedding_ask = embeddings_doc(ask, model)
        result = add_doc(index_name, index, es)
        print(result)


if __name__ == '__main__':
    main()

在这里插入图片描述

五、相似性搜索

1. 余弦相似度算法：cosineSimilarity

from elasticsearch import Elasticsearch
from transformers import BertTokenizer, BertModel
import torch


def embeddings_doc(doc, :]
    return cls_embeddings[0]


def search_similar(index_name, query_text, es, top_k=3):
    query_embedding = embeddings_doc(query_text, model)
    print(query_embedding.tolist())
    query = {
        "query": {
            "script_score": {
                "query": {"match_all": {}},
                "script": {
                    "source": "cosineSimilarity(params.queryVector,'ask_vector') + 1.0",
                    "lang": "painless",
                    "params": {
                        "queryVector": query_embedding.tolist()
                    }
                }
            }
        },
        "size": top_k
    }
    res = es.search(index=index_name, body=query)
    hits = res['hits']['hits']
    similar_documents = []
    for hit in hits:
        similar_documents.append(hit['_source'])
    return similar_documents


def main():
    # 模型下载的地址
    model_name = 'D:\\AIGC\\model\\chinese-roberta-wwm-ext-large'
    # ES 信息
    es_host = "http://127.0.0.1"
    es_port = 9200
    es_user = "elastic"
    es_password = "elastic"
    index_name = "medical_index"

    # 分词器和模型
    tokenizer = BertTokenizer.from_pretrained(model_name)
    model = BertModel.from_pretrained(model_name)

    # ES 连接
    es = Elasticsearch(
        [es_host], es_password)
    )

    query_text = "我有高血压可以拿党参泡水喝吗"

    similar_documents = search_similar(index_name, es)
    for item in similar_documents:
        print("================================")
        print('ask：', item['ask'])
        print('answer：', item['answer'])


if __name__ == '__main__':
    main()

打印日志如下：

在这里插入图片描述

================================
ask： 我有高血压这两天女婿来的时候给我拿了些党参泡水喝，您好高血压可以吃党参吗？
answer： 高血压病人可以口服党参的。党参有降血脂，降血压的作用，可以彻底消除血液中的垃圾，从而对冠心病以及心血管疾病的患者都有一定的稳定预防工作作用，因此平时口服党参能远离三高的危害。另外党参除了益气养血，降低中枢神经作用，调整消化系统功能，健脾补肺的功能。感谢您的进行咨询，期望我的解释对你有所帮助。
================================
ask： 我准备过两天去看我叔叔，顺便带些人参，但是他有高血压，您好人参高血压可以吃吗？
answer： 人参有一定的调压作用，主要用来气虚体虚的患者，如果有气血不足，气短乏力，神经衰弱，神经衰弱健忘等不适症状的话，可以适当口服人参调养身体，但是对于高血压的病人，如果长期食用人参的话，可能会对血压引发一定影响，所以，比较好到医院中医科实施辨证论治调治，看如何适合食用人参。
================================
ask： 我妈妈有点高血压，比较近我朋友送了我一些丹参片，我想知道高血压能吃丹参片吗？
answer： 丹参片具备活血化瘀打通血管的作用可以致使血液粘稠度减低，所以就容易致使血管内血液供应便好防止出现血液粘稠，致使血压下降，所以对降血压是有一定帮助的，高血压患者是经常使用丹参片实施治疗的。可以预防，因为血液粘稠引来的冠心病心绞痛以及外周血管脑水肿症状。

2. 点积算法：dotProduct

计算给定查询向量和文档向量之间的点积度量。

from elasticsearch import Elasticsearch
from transformers import BertTokenizer,
                "script": {
                    "source": "dotProduct(params.queryVector,'ask_vector')+1.0", item['answer'])


if __name__ == '__main__':
    main()

在这里插入图片描述

================================
ask： 我有高血压这两天女婿来的时候给我拿了些党参泡水喝，您好高血压可以吃党参吗？
answer： 高血压病人可以口服党参的。党参有降血脂，降血压的作用，可以彻底消除血液中的垃圾，从而对冠心病以及心血管疾病的患者都有一定的稳定预防工作作用，因此平时口服党参能远离三高的危害。另外党参除了益气养血，降低中枢神经作用，调整消化系统功能，健脾补肺的功能。感谢您的进行咨询，期望我的解释对你有所帮助。
================================
ask： 我准备过两天去看我叔叔，顺便带些人参，但是他有高血压，您好人参高血压可以吃吗？
answer： 人参有一定的调压作用，主要用来气虚体虚的患者，如果有气血不足，气短乏力，神经衰弱，神经衰弱健忘等不适症状的话，可以适当口服人参调养身体，但是对于高血压的病人，如果长期食用人参的话，可能会对血压引发一定影响，所以，比较好到医院中医科实施辨证论治调治，看如何适合食用人参。
================================
ask： 我妈妈有点高血压，比较近我朋友送了我一些丹参片，我想知道高血压能吃丹参片吗？
answer： 丹参片具备活血化瘀打通血管的作用可以致使血液粘稠度减低，所以就容易致使血管内血液供应便好防止出现血液粘稠，致使血压下降，所以对降血压是有一定帮助的，高血压患者是经常使用丹参片实施治疗的。可以预防，因为血液粘稠引来的冠心病心绞痛以及外周血管脑水肿症状。

3. L1曼哈顿距离：l1norm

计算给定查询向量和文档向量之间的L1距离。

from elasticsearch import Elasticsearch
from transformers import BertTokenizer,
                "script": {
                    "source": "1 / (1 + l1norm(params.queryVector,doc['ask_vector']))", item['answer'])


if __name__ == '__main__':
    main()

在这里插入图片描述

================================
ask： 我有高血压这两天女婿来的时候给我拿了些党参泡水喝，您好高血压可以吃党参吗？
answer： 高血压病人可以口服党参的。党参有降血脂，降血压的作用，可以彻底消除血液中的垃圾，从而对冠心病以及心血管疾病的患者都有一定的稳定预防工作作用，因此平时口服党参能远离三高的危害。另外党参除了益气养血，降低中枢神经作用，调整消化系统功能，健脾补肺的功能。感谢您的进行咨询，期望我的解释对你有所帮助。
================================
ask： 我准备过两天去看我叔叔，顺便带些人参，但是他有高血压，您好人参高血压可以吃吗？
answer： 人参有一定的调压作用，主要用来气虚体虚的患者，如果有气血不足，气短乏力，神经衰弱，神经衰弱健忘等不适症状的话，可以适当口服人参调养身体，但是对于高血压的病人，如果长期食用人参的话，可能会对血压引发一定影响，所以，比较好到医院中医科实施辨证论治调治，看如何适合食用人参。
================================
ask： 我妈妈有点高血压，比较近我朋友送了我一些丹参片，我想知道高血压能吃丹参片吗？
answer： 丹参片具备活血化瘀打通血管的作用可以致使血液粘稠度减低，所以就容易致使血管内血液供应便好防止出现血液粘稠，致使血压下降，所以对降血压是有一定帮助的，高血压患者是经常使用丹参片实施治疗的。可以预防，因为血液粘稠引来的冠心病心绞痛以及外周血管脑水肿症状。

4. l2 欧几里得距离：l2norm

计算给定查询向量和文档向量之间的欧几里德距离。

from elasticsearch import Elasticsearch
from transformers import BertTokenizer,
                "script": {
                    "source": "1 / (1 + l2norm(params.queryVector, item['answer'])


if __name__ == '__main__':
    main()

在这里插入图片描述

================================
ask： 我有高血压这两天女婿来的时候给我拿了些党参泡水喝，您好高血压可以吃党参吗？
answer： 高血压病人可以口服党参的。党参有降血脂，降血压的作用，可以彻底消除血液中的垃圾，从而对冠心病以及心血管疾病的患者都有一定的稳定预防工作作用，因此平时口服党参能远离三高的危害。另外党参除了益气养血，降低中枢神经作用，调整消化系统功能，健脾补肺的功能。感谢您的进行咨询，期望我的解释对你有所帮助。
================================
ask： 我准备过两天去看我叔叔，顺便带些人参，但是他有高血压，您好人参高血压可以吃吗？
answer： 人参有一定的调压作用，主要用来气虚体虚的患者，如果有气血不足，气短乏力，神经衰弱，神经衰弱健忘等不适症状的话，可以适当口服人参调养身体，但是对于高血压的病人，如果长期食用人参的话，可能会对血压引发一定影响，所以，比较好到医院中医科实施辨证论治调治，看如何适合食用人参。
================================
ask： 我妈妈有点高血压，比较近我朋友送了我一些丹参片，我想知道高血压能吃丹参片吗？
answer： 丹参片具备活血化瘀打通血管的作用可以致使血液粘稠度减低，所以就容易致使血管内血液供应便好防止出现血液粘稠，致使血压下降，所以对降血压是有一定帮助的，高血压患者是经常使用丹参片实施治疗的。可以预防，因为血液粘稠引来的冠心病心绞痛以及外周血管脑水肿症状。

原文地址：https://blog.csdn.net/qq_43692950/article/details/132645864

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

typescript项目css modules
文章浏览阅读774次，点赞24次，收藏16次。typescript项目中我们使用typings-for-css-modules-loader来替代css-loader实现css modules。1、typings-for-css-modules-loader加载器介绍 Webpack加载器，用作css-loader的替代产品，可动态生成CSS模块的TypeScript类型这句话是什么意思呢？就是编译时处理css文件...
使用 create-react-app 搭建项目ts+less+antd+redux+router+eslint+prettier+axios
文章浏览阅读784次。react router redux antd eslint prettier less axios_react+antd+redux+less
【Error】elasticsearch修改密码报错，elasticsearch-setup-passwords interactive
文章浏览阅读3.9k次，点赞5次，收藏11次。需要删除.security-7索引文件。把在第1步中的被注释的配置打开。之后就是按照提示输入密码。执行bin目录下的文件。_failed to authenticate user 'elastic' against
Centos 8 安装 Elasticsearch
文章浏览阅读1.2k次，点赞23次，收藏24次。Centos 8 安装es_centos8 yum elasticsearch
ES设置⽤户名和密码
文章浏览阅读3.2k次。设置完之后，数据会⾃动同步到其他节点。修改密码时，将第⼀步配置删除，然后重启。单独使⽤⼀个节点⽣成证书；执⾏设置⽤户名和密码的命令。执⾏完上⾯命令以后就可以在。⽂件，在⾥⾯添加如下内容。这个⽂件复制到其他节点下。其中⼀个节点设置密码即可。依次对每个账户设置密码。全部节点都要重启⼀遍。需要在配置⽂件中开启。个⽤户分别设置密码，⽬录下，证书⽂件名为。功能，并指定证书位置。_es设置账号和密码
MySQL与ES数据同步的四种方案及实践演示
文章浏览阅读1.9k次，点赞2次，收藏7次。针对多数据源写入的场景，可以借助MQ实现异步的多源写入，这种情况下各个源的写入逻辑互不干扰，不会由于单个数据源写入异常或缓慢影响其他数据源的写入，虽然整体写入的吞吐量增大了，但是由于MQ消费是异步消费，所以不适合实时业务场景。不易出现数据丢失问题，主要基于MQ消息的消费保障机制，比如ES宕机或者写入失败，还能重新消费MQ消息。针对这种情况，有数据强一致性要求的，就必须双写放到事务中来处理，而一旦用上事物，则性能下降更加明显。可能出现延时问题：MQ是异步消费模型，用户写入的数据不一定可以马上看到，造成延时。_mysql同步es
【送书福利-第十九期】《C++ Core Guidelines解析》
文章浏览阅读3.6w次，点赞48次，收藏44次。【程序员洲洲送书福利-第十九期】《C++ Core Guidelines解析》
Vue rules校验规则详解
文章浏览阅读1.3k次。当我们在开发Vue应用时，经常需要对表单进行校验，以确保用户输入的数据符合预期。Vue提供了一个强大的校验规则机制，通过定义rules规则，可以方便地对表单进行验证，并给出相应的错误提示。_vue ruler校验
Linux内核源码下载地址及方式
文章浏览阅读2k次，点赞16次，收藏12次。Linux内核源码下载地址及方式_linux源码下载
skywalking日志落到es字段timestamp不为date问题解决
文章浏览阅读1k次。这样在每天自动生成的索引skywalking_log_xxx就会使用上述模版来生成，timestamp会被设置成date类型。然后此时在–>索引管理–>kibana–>索引模式添加skywalking_log*索引时就会有时间字段了。在通过skywalking将日志收集到es后，由于skywalking收集的日志(skywalking_log索引)没有date类型的字段导致在es上再索引模式中没有时间范围的查询。skywalking收集的日志有时间戳字段timestamp，只是默认为long类型。_skywalking timestamp
Git学习笔记——创建版本库
文章浏览阅读937次，点赞18次，收藏21次。1.初始化git仓库，使用git int命令。2.添加文件到git仓库，两步走:2.1 使用命令，注意，可反复多次使用，添加多个文件；2.2 使用命令，完成。此笔记是我个人学习记录笔记，通过廖雪峰的笔记进行学习，用自己能理解的笔记记录下来，如果侵权，联系删。不存在任何盈利性质，单纯发布后，用于自己学习回顾。
git如何配置多个远程仓库，并且进行切换
文章浏览阅读786次，点赞8次，收藏7次。上述示例中的 origin 是远程仓库的名称，https://github.com/example/repository.git 是远程仓库的 URL，(fetch) 表示该远程仓库用于获取更新，(push) 表示该远程仓库用于推送更新。你可以选择在本地仓库创建与远程仓库分支对应的本地分支，也可以直接将本地仓库的分支推送到远程仓库的对应分支。将 替换为远程仓库的名称（例如 origin）， 替换为要推送的本地分支的名称， 替换为要推送到的远程分支的名称。_git remote 智能切换仓库
【vue3+ts项目】配置eslint校验代码工具，eslint+prettier+stylelint
文章浏览阅读1.5k次。配置eslint校验代码工具_eslint 实时校验
Git介绍与安装使用
文章浏览阅读1.2k次，点赞28次，收藏26次。Git入门基础介绍，什么是Git,如何使用Git，以及Git的工作的基本原理
Elasticsearch基础篇(二)：Elasticsearch在windows和liunx上的安装部署
文章浏览阅读2.7k次。基于官方给出的几种不同环境不同的安装方式，本文将会选择在使用.zip文件在Windows上安装Elasticsearch在Linux或macOS上从存档文件安装ElasticsearchInstall Elasticsearch with Docker (此种方式待定)使用Docker安装Elasticsearch。_elasticsearch安装部署windows
【Linux驱动】内核模块编译 —— make modules 的使用（单模块编译、多模块编译）
文章浏览阅读3.3k次，点赞5次，收藏11次。【Linux驱动】内核模块编译 —— make modules 的使用（单模块编译、多模块编译）_make modules
ES启动报错：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
文章浏览阅读1k次。docker启动es报错_max virtual memory areas vm.max_map_count [65530] is too low, increase to at
【Kibana启动报错】Unable to retrieve version information from Elasticsearch nodes.
文章浏览阅读4.2k次，点赞2次，收藏6次。使用docker单机安装elasticsearch后再安装kibana时找不到es。_unable to retrieve version information from elasticsearch nodes. security_ex
【elasticsearch专题】：Logstash从入门到同步MySQL数据
文章浏览阅读1.1k次。日志处理对于任何现代IT系统都是关键部分，本教程专为新手设计，通过详细解释Logstash的三大核心组件，为您展示如何从零开始搭建强大的日志处理系统。您还将学习如何同步MySQL数据到Elasticsearch，并通过一个"Hello World"示例快速入门。无论您是完全的新手还是有一些基础，本教程都将引导您顺利掌握Logstash的基本操作和高级应用。_logstash mysql
git remote add origin详解
文章浏览阅读1.1w次，点赞5次，收藏25次。执行这条指令之后，你的本地项目就与远程Git仓库建立了连接，你就可以开始对你的代码进行版本追踪和协作开发了。使用“git remote add origin”指令，可以轻松地将本地项目连接到远程Git仓库。git remote set-url origin 执行这条指令之后，Git就会将已经添加的名为“origin”的仓库删除。git remote add origin 其中，是你的远程Git仓库的网址。_git remote add origin
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot