详解MongoDB中的多表关联查询$lookup

一.  聚合框架 

聚合框架是MongoDB的高级查询语言,它允许我们通过转换和合并多个文档中的数据来生成新的单个文档中不存在的信息。

聚合管道操作主要包含下面几个部分:

命令 功能描述
$project 指定输出文档里的字段.
$match 选择要处理的文档,与fine()类似。
$limit 限制传递给下一步的文档数量。
$skip 跳过一定数量的文档。
$unwind 扩展数组,为每个数组入口生成一个输出文档。
$group 根据key来分组文档。
$sort 排序文档。
$geoNear 选择某个地理位置附近的的文档。
$out 把管道的结果写入某个集合。
$redact 控制特定数据的访问。

$lookup

多表关联(3.2版本新增)

在本篇幅中,我们聚焦$lookup的使用。

二.  $lookup的功能及语法

1. 主要功能 是将每个输入待处理的文档,经过$lookup 阶段的处理,输出的新文档中会包含一个新生成的数组列(户名可根据需要命名新key的名字 )。数组列存放的数据 是 来自 被Join 集合的适配文档,如果没有,集合为空(即 为[ ])

2. 基本语法

{
   $lookup:
     {
       from: <collection to join>,localField: <field from the input documents>from the documents of the "from" collectionas: <output array field
     }
}

 3. 语法的解释说明

语法值 解释说明
from
同一个数据库下等待被Join的集合。
localField

源集合中的match值,如果输入的集合中,某文档没有 localField

这个Key(Field),在处理的过程中,会默认为此文档含

有 localField:null的键值对。

foreignField
待Join的集合的match值,如果待Join的集合中,文档没有foreignField
值,在处理的过程中,会默认为此文档含有 foreignField:null的键值对。
as
为输出文档的新增值命名。如果输入的集合中已存在该值,则会覆盖掉,

 

(注:null = null 此为真)

其语法功能类似于下面的伪SQL语句:

SELECT *,>
FROM collection
WHERE > IN (*
                               FROM join>
                               <foreignField>= <collection.localField>);

 

三. 案例

以上的语法介绍有些枯燥,不易理解,我们直接分析品味案例好了。

假设 有 订单集合, 存储的测试数据 如下:

db.orders.insert([
   { "_id" : 1,"item" : "almonds","price" : 12,"quantity" : 2 },{ "_id" : 2,"item" : "pecans","price" : 20,"quantity" : 1 },{ "_id" : 3  }
])

其中 item 对应 数据为 商品名称

另外 一个 就是就是 商品库存集合 ,存储的测试数据 如下:

db.inventory.])

此集合中的 sku 数据等同于 订单 集合中的 商品名称

在这种模式设计下,如果要查询订单表对应商品的库存情况,应如何写代码呢?

很明显这需要两个集合Join。

场景简单,不做赘述,直送答案 。其语句 如下:

db.orders.aggregate(
   {
     $lookup:
       {
         from: "inventory",localField: "item",foreignField: "sku",as: "inventory_docs"
       }
  }
])

返回的执行结果如下:

{
    "_id" : NumberInt("1"),"price" : NumberInt("122
        {
            "_id" : NumberInt("1"),"description" : "product 1","instock" : NumberInt("120")
        }
    ]
}


{
    "_id" : NumberInt("20
        {
            "_id" : NumberInt("4"),"description" : "product 4","instock" : NumberInt("70")
        }
    3
        {
            "_id" : NumberInt("5"),"sku" : null,"description" : "Incomplete"
        },{
            "_id" : NumberInt("6")
        }
    
}

 

分析查询语句和结果,回扣$lookup定义,可以将上面的处理过程,描述如下:

从集合order中逐个获取文档处理,拿到一个文档后,会根据localField 值 遍历 被 Join的 inventory集合(from: "inventory"),看inventory集合文档中 foreignField值是否与之相等。如果相等,就把符合条件的inventory文档  整体 内嵌到聚合框架新生成的文档中,并且新key 统一命名为 inventory_docs。考虑到符合条件的文档不唯一,这个Key对应的Value是个数组形式。原集合中Key对应的值为Null值或不存在时,需特别小心。

四. 说明

在以下的说明中,为描述方便,将 from对应的集合定义为 被join集合;待聚合的表成为源表; 将 localField 和 foreignField 对应的Key 定义 比较列。

1. 因客户端工具显示的问题,上面示例中查询结果重Int 类型值都自动显示为了 NumberInt("")。这个NumberInt标注,请忽略,不影响我们的功能测试。

2. 这个示例中,一共输出了三个文档,在没有再次聚合($match)的条件下,这个输出文档数量是以输入文档的数量来决定的(由order来决定),而不是以被Join的集合(inventory)文档数量决定。

3. 在此需要特别强调的是输出的第三个文档。在源库中原文档没有要比较的列(即item值不存在,既不是Null值,也不是值为空),此时 和 被Join 集合比较,如果 被Join集合中 比较列 也恰好 为NUll 或 不存在的值,此时,判断相等 ,即会把 被Join集合中 比较列 为NUll 或 值不存在 文档 吸收进来。

4. 假设 源表(order) 中比较列 为某一个值,而此值在待比较表(inventory)的所有文档中都不存在,那么查询结果会是什么样子呢?

order 集合在现有数据的基础上,再被insert 进一笔测试数据,这个订单的商品为 Start,在库存商品中根本没有此数据。

db.orders.insert({"_id" : 4,"item" : "Start","price" : 2000,"quantity" : 1 })

order集合的文档数量由之前的3个增长为4个。

再次执行查询

db.orders.aggregate(])

此时查看结果 


}

{
    "_id" : NumberInt("42000[ 
}

 查询出的结果也由之前的3个变成了4个。比较特别的是第四个文档 ,其新增列 为 "inventory_docs" : [ ] ,即值为空 。所以,此时,实现的功能非常像关系型数据库的 left join。

那么,可不可以只筛选出新增列为空的文档呢

即 我们查询出 ,比较列的条件下,刷选出只在A集合中,而不在集合B的文档呢? 就像关系数据库中量表Join的 left join on a.key =b.key where b.key is null .

答案是可以的

其实回到聚合框架上来,再次聚合一下就可以了,来一次$match就可以了。

执行的语句调整一下就OK了。

db.orders.aggregate(} }
])

执行结果 为 


}

可以看出执行结果只有一个文档。这个文档表明的含义是:订单中有这个商品,但是库存中没有这个商品。

$look只是聚合框架的一个stage,在其前前后后,都可以嵌入到其他的聚合管道的命令,例如$match.$group等。下面的说明5,也可以说明一二)

5. 以上的比较列都是单一的Key/Value,如果复杂一点,如果比较的列是数组,我们又该如何关联呢?

我们接下来再来测试一把。将之前 集合order 、inventory 插入的数据清空。

插入此场景下的新数据,向order中插入的数据,如下:

db.orders.insert({ "_id" : 1,"item" : "MON1003",1); font-weight: bold">350,1); font-weight: bold">2,"specs" : "27 inch","Retina display","1920x1080" ],"type" : "Monitor" })
specs 对应的value是数组格式。

向集合inventory 新插入的数据 如下:

db.inventory.120,"size" : "27 inch","resolution" : "1920x1080" })

db.inventory.85,1); font-weight: bold">23 inch","resolution" : "1280x8003,"sku" : "MON1031",1); font-weight: bold">60,"display_type" : "LED" })

查询的语句如下:

db.orders.aggregate(
   {
      $unwind: "$specs"
   },{
      $lookup:
         {
            from: "inventory",localField: "specs",foreignField: "size",as: "inventory_docs"
        }
   },{
      $match: { "inventory_docs": { $ne: [ } }
   }
])

查询显示结果如下:

35027 inch","instock" : NumberInt("120"),"size" : "27 inch","resolution" : "1920x1080"
        }
    
}

仔细看啊,输出文档中的 specs 对应的数据变成了字符串类型(原集合为数组)。是什么发挥了如此神奇功效???,请看黑板,请将目光集中在

{
      $unwind: "$specs"
   }

还有个小问题,大家猜一下,如果查询语句中没有

{
      $match: { "inventory_docs": { $ne: [] } }
   }

结果会是什么样呢?即查看语句修改为:
db.orders.aggregate(])

大家猜猜看!

大家猜猜看!

大家猜猜看!

呵呵...此时的结果是:

文档1
{
    "_id" : NumberInt("
}

文档2 
{
    "_id" : NumberInt("
}

文档3

{
    "_id" : NumberInt("",1)">
}

你推算出正确结果了吗?

6. 最后一道题,在SQL中两表关联,每个表都有条件,那么在MongoDB中应该如何书写呢?

例如SQL Server 语句

 * FROM dbo.Rel_QQDetails AS D 
  JOIN dbo.Fct_QQStatements AS S ON D.OrderId=s.OrderStatementsId
  WHERE D.ReconciliationId='te54test7-187e-4e38-85e7-88926000aa7a' 
  AND S.StatementsPriceException'false'

转换后的MongoDB代码为:

  db.Rel_QQDetails.aggregate(
   { $match: {ReconciliationId:CSUUID("bb54bee7-187f-4d38-85d7-88926000ac7a")}},{ $lookup:
       {
         from: "Fct_QQStatements",localField: "OrderId",foreignField: "OrderStatementsId",{ $match : {"inventory_docs.StatementsPriceException" :false} }
])

 

7. 附加题,mongodb 集合间关联后更新,在MongoDB中应该如何书写呢?----借助 forEach 功能

由于篇幅限制,集合中的数据格式不再说明。

需求:集合QQ_OrderReturn 和 RelQQ_ReconciliationDetails 关联刷选,刷选符合条件,在更新QQ_OrderReturn的数据。

 

db.QQ_OrderReturn.aggregate([
     {$match:{"Status" : 21}},{$match:{Disabled0JoinResponParty合作方"(合作营)ABC阳澄湖蟹RelQQ_ReconciliationDetailsOrderReturnIdOrderIdinventory_docs
       }
  },{ $match : { : [ ]} }
]).forEach(function(item){
    db.QQ_OrderReturn.update({_id":item._id},{$set:{":NumberInt()}})
    
})

 

 

谢谢!!!

希望以上的讲解和演示能对大家学习$lookup有所帮助。

 

 

注:以上案例数据参考MongoDB官方网站,大家也可访问官网获取更多、更全的相关知识。

 

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!



版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读552次。com.mongodb.MongoQueryException: Query failed with error code 292 and error message 'Executor error during find command :: caused by :: Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting.' on server 11.51.141.63:27017 _mongodb 大文件 下载失败
文章浏览阅读635次,点赞9次,收藏8次。MongoDB 是一种 NoSQL 数据库,它将每个数据存储为一个文档,这里的文档类似于 JSON/BSON 对象,具体数据结构由键值(key/value)对组成。
文章浏览阅读2.1k次。和。_mongodb 日期类型
文章浏览阅读1.7k次。Scalestack等客户期待使用MongoDB Atlas Vector Search和Amazon Bedrock构建下一代应用程序
文章浏览阅读970次。SpringBoot整合中间件mongodb、ES_springboot3 elasticsearch json数据
文章浏览阅读673次。MongoDB 简介_尚医通sql
文章浏览阅读1k次,点赞8次,收藏9次。官网下载MongoDB安装包后进行解压(因了解并不深入,故暂不进行详细说明,自行查找其他安装方法,后期了解深入后将进行该教程的完善)在bin目录下使用命令启动:./mongod --config …/mongodb.conf。该文章任然处于完善中,如果存在错误遗漏的地方,欢迎私信联系。安装相关的nuget包后即可通过以下方法连接数据。YX9010_0@的第二十篇文章。
文章浏览阅读1.2k次,点赞17次,收藏26次。社交场景, 使用 MongoDB 存储存储用户信息, 以及用户发表的朋友圈信息, 通过地理位置索引实现附近的人, 地点等功能.游戏场景, 使用 MongoDB 存储游戏用户信息, 用户的装备, 积分等直接以内嵌文档的形式存储, 方便查询, 高效率存储和访问.物流场景, 使用 MongoDB 存储订单信息, 订单状态在运送过程中会不断更新, 以 MongoDB 内嵌数组的形式来存储, 一次查询就能将订单所有的变更读取出来.物联网场景, 使用 MongoDB 存储所有接入的智能设备信息, 以及设备汇报的日
文章浏览阅读686次。您可以使用 update_one() 方法来更新 MongoDB 中调用的记录或文档。update_one() 方法的第一个参数是 query 对象,用于定义要更新的文档。注释:如果查询找到多个记录,则仅更新第一个匹配项。第二个参数是定义文档新值的对象。_python 更新 mongodb 数据
文章浏览阅读1.3k次。首先来学习一下nosql这里安装就不进行介绍 只记录一下让自己了解mongodb。_nosql注入
文章浏览阅读4.1k次,点赞8次,收藏7次。在data的目录下,创建一个db文件。因为启动MongoDB服务之前必须创建数据库文件的存放文件夹,否则命令不会自动创建,而且不能启动成功。第一步:安装时,Custom是指可以自定义安装路径,然后傻瓜式安装即可(注意:先不要安装图形化工具,否则安装时间会特别长):如果要想连接成功,必须要开服务,即mongod -dbpath C:MongoDBdatadb的cmd要一直开着。然后回车,ctrl+F输入port找到端口号,一般为:27017。打开命令行,然后找到bin文件地址,并输入。_mongodb windows安装
文章浏览阅读5.1k次,点赞3次,收藏43次。详细介绍MongoDB数据库的基本知识,安装方法,基本操作,_mongodb数据库
文章浏览阅读3.2k次。安装教程翻看以往文章。_navicat 连接mongodb
文章浏览阅读426次,点赞9次,收藏12次。win10开放端口:https://blog.csdn.net/m0_43605481/article/details/119255256。我的是阿里云服务器,所以直接在安全组中加入规则,端口范围:27017,授权对象:0.0.0.0。windows在mongodb安装文件夹的bin文件夹中的mongod.cfg。数据库名字是test,打算创建一个用户,账号aaa,密码bbb,权限readWrite。因为该用户是创建在test数据库的,所以在最后要加上test。O了,然后恢复了test的数据。
文章浏览阅读1.1k次。聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起,按条件分组后,再进行一系列操作(如求和、平均值、最大值、最小值)以返回单个结果。MongoDB的聚合查询​聚合是MongoDB的高级查询语言,它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据(例如分组统计平均值、求和、最大值等),并返回计算后的数据结果,有点类似sql语句中的count(*)、groupby。..._如何将几个db的数据统整在一起做查询
文章浏览阅读680次,点赞7次,收藏8次。(2)application.properties配置文件。(4)UserService类。(5)测试和测试结果。
文章浏览阅读1k次,点赞17次,收藏25次。Studio 3T 2023.9 (macOS, Linux, Windows) - MongoDB 的专业 GUI、IDE 和 客户端,支持自然语言查询_mongodb客户端
文章浏览阅读1.1k次,点赞32次,收藏27次。插件式的存储引擎架构可以实现 Server 层和存储引擎层的解耦,可以支持多种存储引擎,如 MySQL 既可以支持 B-Tree 结构的 InnoDB 存储引擎,还可以支持 LSM 结构的 RocksDB 存储引擎。MongoDB 中的记录就是一个 BSON 文档,它是由键值对组成的数据结构,类似于 JSON 对象,是 MongoDB 中的基本数据单元。的简称,是 JSON 文档的二进制表示,支持将文档和数组嵌入到其他文档和数组中,还包含允许表示不属于 JSON 规范的数据类型的扩展。
文章浏览阅读5.1k次,点赞6次,收藏96次。本文设计了一种基于智能室内温度控制的自动调速风扇。以STM32系列单片机为核心主控板,通过程序代码驱动和使用温度传感器模块实现对环境温度的实时监测,并可以实时显示环境温度。同时,可以设置温度检测的上下警告值,根据需求自行调节。_stm32 温控风扇
文章浏览阅读898次,点赞13次,收藏21次。在MongoDB中,我们使用find()和find_one()方法来在集合中查找数据,就像在MySQL数据库中使用SELECT语句来在表中查找数据一样。_pymongo find_one