开源SPL强化MangoDB计算

MongoDB是NoSQL数据库的典型代表,支持文档结构的存储方式数据存储和使用更为便捷,数据存取效率也很高,但计算能力较弱,实际使用中涉及MongoDB的计算尤其是复杂计算会很麻烦,这就需要具备强计算能力的数据处理引擎与其配合。

开源集算器SPL是一款专业结构化数据计算引擎,拥有丰富的计算类库和完备、不依赖数据库的计算能力。SPL提供了独立的过程计算语法,尤其擅长复杂计算,可以增强MongoDB的计算能力,完成分组汇总、关联计算、子查询等通通不在话下。

常规查询

MongoDB不容易搞定的连接JOIN运算,用SPL很容易搞定:

A B
1 =mongo_open("mongodb://127.0.0.1:27017/raqdb") /连接MongDB
2 =mongo_shell(A1,"c1.find()").fetch() /获取数据
3 =mongo_shell(A1,"c2.find()").fetch()
4 =A2.join(user1:user2,A3:user1:user2,output) /关联计算
5 >A1.close() /关闭连接

 

单表多次参与运算,复用计算结果:

A B
1 =mongo_open("mongodb://127.0.0.1:27017/raqdb")
2 =mongo_shell(A1,“course.find(,{_id:0})”).fetch() /获取数据
3 =A2.group(Sno).((avg   = ~.avg(Grade),~.select(Grade>avg))).conj() /计算成绩大于平均值
4 >A1.close()

 

IN计算:

A B
1 =mongo_open("mongodb://localhost:27017/test")
2 =mongo_shell(A1,"orders.find(,{_id:0})") /获取数据
3 =mongo_shell(A1,"employee.find({STATE:'California'},{_id:0})").fetch() /过滤employee数据
4 =A3.(EID).sort() /取出EID并排序
5 =A2.select(A4.pos@b(SELLERID)).fetch() /二分法查找
6 >A1.close()

 

外键对象化,外键指针不仅方便,效率也高:

A B
1 =mongo_open("mongodb://localhost:27017/local")
2 =mongo_shell(A1,"Progress.find({},  {_id:0})").fetch() /获取Progress数据
3 =A2.groups(courseid;   count(userId):popularityCount) /按课程分组计数
4 =mongo_shell(A1,"Course.find(,{title:1})").fetch() /获取Course数据
5 =A3.switch(courseid,A4:_id) /外键连接
6 =A5.new(popularityCount,courseid.title) /创建结果集
7 =A1.close()

 

APPLY算法的简单实现:

A B
1 =mongo_open("mongodb://127.0.0.1:27017/raqdb")
2 =mongo_shell(A1,"users.find()").fetch() /获取users数据
3 =mongo_shell(A1,"workouts.find()").fetch() /获取workouts数据
4 =A2.conj(A3.select(A2.workouts.pos(_id)).derive(A2.name)) /查询_id 值workouts 序列的记录
5 >A1.close()

 

集合运算,合并交差:

A B
1 =mongo_open("mongodb://127.0.0.1:27017/raqdb")
2 =mongo_shell(A1,"emp1.find()").fetch()
3 =mongo_shell(A1,"emp2.find()").fetch()
4 =[A2,A3].conj() /多序列合集
5 =[A2,A3].merge@ou() /全行对比求并集
6 =[A2,A3].merge@ou(_id,  NAME) /键值对比求并集
7 =[A2,A3].merge@oi() /全行对比求交集
8 =[A2,A3].merge@oi(_id,  NAME) /键值对比求交集
9 =[A2,A3].merge@od() /全行对比求差集
10 =[A2,A3].merge@od(_id,  NAME) /键值对比求差集
11 >A1.close()

 

在序列中查找成员序号:

A B
1 =mongo_open("mongodb://localhost:27017/local)
2 =mongo_shell(A1,"users.find({name:'jim'},{name:1,friends:1,_id:0})")   .fetch()
3 =A2.friends.pos("luke") /从friends序列中获取成员序号
4 =A1.close()

 

多成员集合的交集:

A B
1 [Chemical,  Biology,Math] /课程
2 =mongo_open("mongodb://127.0.0.1:27017/raqdb")
3 =mongo_shell(A2,"student.find()").fetch() /获取student数据
4 =A3.select(Lesson^A1!=[]) /查询选修至少一门的记录
5 =A4.new(_id,  Name,~.Lesson^A1:Lession) /计算出结果
6 >A2.close()

复杂计算

TOPN运算:

A B
1 =mongo_open("mongodb://127.0.0.1:27017/test")
2 =mongo_shell(A1,"last3.find(,{_id:0};{variable:1})") /获取last3数据,并按variable排序
3 for A2;variable =A3.top(3;-timestamp) /选出timestamp最晚的3个
4 =@|B3 /将选出文档追加到B4中
5 =B4.minp(~.timestamp)      /选出timstamp最早的文档
6 >mongo_close(A1)

 

嵌套结构的聚合:

A
1 =mongo_open("mongodb://127.0.0.1:27017/raqdb")
2 =mongo_shell(A1,"computer.find()").fetch()
3 =A2.new(_id:ID,income.array().sum():INCOME,output.array().sum():OUTPUT)
4 >A1.close()

 

合并多属性子文档:

A B C
1 =mongo_open("mongodb://localhost:27017/local")
2 =mongo_shell(A1,"c1.find(,{_id:0};{name:1})")
3 =create(_id,  readUsers) /创建结果序表
4 for   A2;name =A4.conj(acls.read.users|acls.append.users|acls.edit.users|acls.fullControl.users).id() /取出所有users字段
5 >A3.insert(0,  A4.name,B4) /插入本组数据
6 =A1.close()

 

嵌套List子文档的查询

A B
1 =mongo_open("mongodb://localhost:27017/local")
2 =mongo_shell(A1,"Cbettwen.find(,{_id:0})").fetch()
3 =A2.conj((t=~.objList.data.dataList,  t.select((s=float(~.split@c1()(1)),s>6154   && s<=6155)))) /找到符合条件的字符串
4 =A1.close()

 

交叉汇总:

A
1 =mongo_open("mongodb://localhost:27017/local")
2 =mongo_shell(A1,"student.find()").fetch()
3 =A2.group(school)
4 =A3.new(school:school,~.align@a(5,sub1).(~.len()):sub1,sub2).(~.len()):sub2)
5 =A4.new(school,sub1(5):sub1-5,sub1(4):sub1-4,sub1(3):sub1-3,sub1(2):sub1-2,sub1(1):sub1-1,sub2(5):sub2-5,sub2(4):sub2-4,sub2(3):sub2-3,sub2(2):sub2-2,sub2(1):sub2-1)
6 =A1.close()

 

分段分组

A B
1 [3000,5000,7500,10000,15000] /Sales分段区间
2 =mongo_open("mongodb://127.0.0.1:27017/raqdb")
3 =mongo_shell(A2,"sales.find()").fetch()
4 =A3.groups(A1.pseg(~.SALES):Segment;count(1):   number) /根据 SALES 区间分组统计员工数
5 >A2.close()

 

分类分组

A B
1 =mongo_open("mongodb://127.0.0.1:27017/raqdb")
2 =mongo_shell(A1,"books.find()")
3 =A2.groups(addr,book;count(book):   Count) /分组计数
4 =A3.groups(addr;sum(Count):Total) /分组统计
5 =A3.join(addr,A4:addr,Total) /关联计算
6 >A1.close()

 

数据写入

导出成CSV:

A B
1 =mongo_open("mongodb://localhost:27017/raqdb")
2 =mongo_shell(A1,"carInfo.find(,{_id:0})")
3 =A2.conj((t=~,cars.car.new(t.id:id,  t.cars.name,~:car))) /对car字段进行拆分成行
4 =file("D:\\data.csv").export@tc(A3) /导出生成csv文件
5 >A1.close()

 

更新数据库(MongoDB到MySQL):

A B
1 =mongo_open("mongodb://localhost:27017/raqdb") /连接MongDB
2 =mongo_shell(A1,"course.find(,{_id:0})").fetch()
3 =connect("myDB1") /连接mysql
4 =A3.query@x("select   * from course2").keys(Sno,Cno)
5 >A3.update(A2:A4,  course2,Sno,Cno,Grade; Sno,Cno) /向mysql更新数据
6 >A1.close()

 

更新数据库(MySQL到MongoDB):

A B
1 =connect("mysql") /连接mysql
2 =A1.query@x("select   * from course2") /获取表course2数据
3 =mongo_open("mongodb://localhost:27017/raqdb") /连接MongDB
4 =mongo_insert(A3,  "course",A2) /将MySQL表course2导入MongoDB集合course
5 >A3.close()

 

混合计算

借助SPL还很容易实现MongoDB与其他数据源进行混合计算:

A B
1 =mongo_open("mongodb://localhost:27017/test") /连接MongDB
2 =mongo_shell(A1,"emp.find({'$and':[{'Birthday':{'$gte':'"+string(begin)+"'}},{'Birthday':{'$lte':'"+string(end)+"'}}]},{_id:0})").fetch() /查询某时间段的记录
3 =A1.close() /关闭MongoDB
4 =myDB1.query("select   * from cities") /获取mysql中表cities数据
5 =A2.switch(CityID,A4:   CityID) /外键关联
6 =A5.new(EID,Dept,CityID.CityName:CityName,Name,Gender) /创建结果集
7 return   A6 /返回

SQL支持

SPL除了原生语法,还提供了相当于SQL92标准的SQL支持,可以使用SQL查询MongoDB了,比如前面的关联计算:

A
1 =mongo_open("mongodb://127.0.0.1:27017/test")
2 =mongo_shell(A1,"c1.find()").fetch()
3 =mongo_shell@x(A1,"c2.find()").fetch()
4 $select s.* from {A2} as s left join {A3}   as r on s.user1=r.user1 and s.user2=r.user2 where r.income>0.3

应用集成

不仅如此,SPL提供了标准JDBC/ODBC等应用程序接口,集成调用很方便。如JDBC的使用:

…
Class.forName("com.esproc.jdbc.InternalDriver");
Connection conn = DriverManager.getConnection("jdbc:esproc:local://");
PrepareStatement st=con.prepareStatement("call splScript(?)"); // splScript为spl脚本文件名
st.setObject(1,"California");
st.execute();
ResultSet rs = st.getResultSet();
…

有了这些功能,增强MongoDB的计算能力可不是说说而已,要不要下载试试?

SPL资料

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读552次。com.mongodb.MongoQueryException: Query failed with error code 292 and error message 'Executor error during find command :: caused by :: Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting.' on server 11.51.141.63:27017 _mongodb 大文件 下载失败
文章浏览阅读635次,点赞9次,收藏8次。MongoDB 是一种 NoSQL 数据库,它将每个数据存储为一个文档,这里的文档类似于 JSON/BSON 对象,具体数据结构由键值(key/value)对组成。
文章浏览阅读2.1k次。和。_mongodb 日期类型
文章浏览阅读1.7k次。Scalestack等客户期待使用MongoDB Atlas Vector Search和Amazon Bedrock构建下一代应用程序
文章浏览阅读970次。SpringBoot整合中间件mongodb、ES_springboot3 elasticsearch json数据
文章浏览阅读673次。MongoDB 简介_尚医通sql
文章浏览阅读1k次,点赞8次,收藏9次。官网下载MongoDB安装包后进行解压(因了解并不深入,故暂不进行详细说明,自行查找其他安装方法,后期了解深入后将进行该教程的完善)在bin目录下使用命令启动:./mongod --config …/mongodb.conf。该文章任然处于完善中,如果存在错误遗漏的地方,欢迎私信联系。安装相关的nuget包后即可通过以下方法连接数据。YX9010_0@的第二十篇文章。
文章浏览阅读1.2k次,点赞17次,收藏26次。社交场景, 使用 MongoDB 存储存储用户信息, 以及用户发表的朋友圈信息, 通过地理位置索引实现附近的人, 地点等功能.游戏场景, 使用 MongoDB 存储游戏用户信息, 用户的装备, 积分等直接以内嵌文档的形式存储, 方便查询, 高效率存储和访问.物流场景, 使用 MongoDB 存储订单信息, 订单状态在运送过程中会不断更新, 以 MongoDB 内嵌数组的形式来存储, 一次查询就能将订单所有的变更读取出来.物联网场景, 使用 MongoDB 存储所有接入的智能设备信息, 以及设备汇报的日
文章浏览阅读686次。您可以使用 update_one() 方法来更新 MongoDB 中调用的记录或文档。update_one() 方法的第一个参数是 query 对象,用于定义要更新的文档。注释:如果查询找到多个记录,则仅更新第一个匹配项。第二个参数是定义文档新值的对象。_python 更新 mongodb 数据
文章浏览阅读1.3k次。首先来学习一下nosql这里安装就不进行介绍 只记录一下让自己了解mongodb。_nosql注入
文章浏览阅读4.1k次,点赞8次,收藏7次。在data的目录下,创建一个db文件。因为启动MongoDB服务之前必须创建数据库文件的存放文件夹,否则命令不会自动创建,而且不能启动成功。第一步:安装时,Custom是指可以自定义安装路径,然后傻瓜式安装即可(注意:先不要安装图形化工具,否则安装时间会特别长):如果要想连接成功,必须要开服务,即mongod -dbpath C:MongoDBdatadb的cmd要一直开着。然后回车,ctrl+F输入port找到端口号,一般为:27017。打开命令行,然后找到bin文件地址,并输入。_mongodb windows安装
文章浏览阅读5.1k次,点赞3次,收藏43次。详细介绍MongoDB数据库的基本知识,安装方法,基本操作,_mongodb数据库
文章浏览阅读3.2k次。安装教程翻看以往文章。_navicat 连接mongodb
文章浏览阅读426次,点赞9次,收藏12次。win10开放端口:https://blog.csdn.net/m0_43605481/article/details/119255256。我的是阿里云服务器,所以直接在安全组中加入规则,端口范围:27017,授权对象:0.0.0.0。windows在mongodb安装文件夹的bin文件夹中的mongod.cfg。数据库名字是test,打算创建一个用户,账号aaa,密码bbb,权限readWrite。因为该用户是创建在test数据库的,所以在最后要加上test。O了,然后恢复了test的数据。
文章浏览阅读1.1k次。聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起,按条件分组后,再进行一系列操作(如求和、平均值、最大值、最小值)以返回单个结果。MongoDB的聚合查询​聚合是MongoDB的高级查询语言,它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据(例如分组统计平均值、求和、最大值等),并返回计算后的数据结果,有点类似sql语句中的count(*)、groupby。..._如何将几个db的数据统整在一起做查询
文章浏览阅读680次,点赞7次,收藏8次。(2)application.properties配置文件。(4)UserService类。(5)测试和测试结果。
文章浏览阅读1k次,点赞17次,收藏25次。Studio 3T 2023.9 (macOS, Linux, Windows) - MongoDB 的专业 GUI、IDE 和 客户端,支持自然语言查询_mongodb客户端
文章浏览阅读1.1k次,点赞32次,收藏27次。插件式的存储引擎架构可以实现 Server 层和存储引擎层的解耦,可以支持多种存储引擎,如 MySQL 既可以支持 B-Tree 结构的 InnoDB 存储引擎,还可以支持 LSM 结构的 RocksDB 存储引擎。MongoDB 中的记录就是一个 BSON 文档,它是由键值对组成的数据结构,类似于 JSON 对象,是 MongoDB 中的基本数据单元。的简称,是 JSON 文档的二进制表示,支持将文档和数组嵌入到其他文档和数组中,还包含允许表示不属于 JSON 规范的数据类型的扩展。
文章浏览阅读5.1k次,点赞6次,收藏96次。本文设计了一种基于智能室内温度控制的自动调速风扇。以STM32系列单片机为核心主控板,通过程序代码驱动和使用温度传感器模块实现对环境温度的实时监测,并可以实时显示环境温度。同时,可以设置温度检测的上下警告值,根据需求自行调节。_stm32 温控风扇
文章浏览阅读898次,点赞13次,收藏21次。在MongoDB中,我们使用find()和find_one()方法来在集合中查找数据,就像在MySQL数据库中使用SELECT语句来在表中查找数据一样。_pymongo find_one