oracle中对JSON数据处理

oracle中对JSON数据处理

背景

在公司接手的项目碰到这么一个表,里面有一列数据保存的是JSON字符串。如果说这一列是一些配置数据,不需要应用到筛选和过滤,只是跟着主键去获得的数据,那你这么做并没有什么不妥。但事实是,这一列需要检索和过滤数据,这**居然是遍历全表,再把json数据转换成对象去遍历匹配。我服了,你咋这么能呢?喜欢这样玩为什么当初不用MongoDB?查了一下文档,知道Oracle 在12C之后有对JSON数据的操作方法,网上关于这部分的文章非常非常非常少(毕竟没几个人会把oracle当成MongoDB这么地**是吧),就整理一下,方便自己以后查看。

入门探究

有一说一这官方文档非常地硬,啃了好久都啃不动,而且很多理想当然的用法都不行。Oracle中关于JSON的操作函数有JSON_ARRAYJSON_EXISTSJSON_VALUESJSON_TABLEJSON_QUERY,其中JSON_ARRAY是用来构建JSON数组的,而不是用来查找结果的。在文中也会小篇幅简单说一下用法。

JSON_EXISTS

JSON_EXISTS是一个SQL函数,用于判断是否存在符合条件的JSON数据。它可以在WHERE子句中使用,用于筛选JSON列中符合特定条件的数据。

官方给出的语法是这样的:

JSON_EXISTS(json_column, json_path_expression, [returning_clause])

其中,json_column是指要查询的JSON列,json_path_expression是指JSON路径表达式,用于指定要查找的JSON数据的位置和条件。

JSON路径表达式中可以使用各种操作符和函数,以及通配符和其他特殊字符。例如:

  • $: 表示根元素
  • .: 表示当前元素
  • [*]: 表示匹配数组中的所有元素
  • []: 表示过滤数组中符合条件的元素
  • @: 表示当前元素的属性

在json_path_expression中,可以使用一些函数,如JSON_VALUE、JSON_QUERY、JSON_TABLE等来处理JSON数据。例如:

  • JSON_VALUE(json_column,'$.name'): 返回json_column列中name字段的值
  • JSON_QUERY(json_column,'$.name'): 返回json_column列中address字段的值
  • JSON_TABLE(json_column,'$.hobbies[*]' COLUMNS (phone_number VARCHAR2(20) PATH '$')): 返回json_column列中phones数组中的所有元素的phone_number字段的值

返回值:

如果符合条件的JSON数据存在,则返回TRUE;否则返回FALSE。如果使用returning_clause子句,则返回符合条件的JSON数据。

例如:

SELECT * FROM my_table WHERE JSON_EXISTS(json_data, '$.name');

这个例子查询my_table表中json_data列中是否存在name字段的值。如果存在,返回TRUE,否则返回FALSE。

JSON_ARRAY

JSON_ARRAY 是一个 Oracle SQL 函数,用于创建一个 JSON 数组。下面是使用 JSON_ARRAY 的一些示例:

语法:

JSON_ARRAY(value1 [, value2] [, value3] ...);

其中,value1,value2,value3 等是一个或多个要添加到 JSON 数组的值。这些值可以是任何有效的 SQL 值,例如字符串、数字、日期、布尔值等。如果没有指定任何值,JSON_ARRAY 将生成一个空的 JSON 数组。

  1. 创建一个包含两个字符串值的 JSON 数组

    SELECT JSON_ARRAY('apple', 'orange') FROM dual;
    

    输出结果:

    ["apple", "orange"]
    
  2. 创建一个包含两个数字值的 JSON 数组

    SELECT JSON_ARRAY(10, 20) FROM dual;
    

    输出结果:

    [10, 20]
    
  3. 创建一个包含多个元素的 JSON 数组

    SELECT JSON_ARRAY('apple', 10, TRUE) FROM dual;
    

    输出结果:

    ["apple", true]
    

在上述示例中,JSON_ARRAY 函数接受一个或多个参数,并将它们作为一个 JSON 数组返回。你可以在 JSON_ARRAY 中使用不同类型的参数,例如字符串,数字和布尔值,它们都将被转换为相应的 JSON 类型。

JSON_VALUE

JSON_VALUE函数用于提取JSON文档中的值。它的语法如下:

JSON_VALUE(json_document, path_expression [RETURNING datatype])

其中:

  • json_document 是包含JSON文档的字符串或BLOB列。
  • path_expression 是用于指定要提取的值的路径表达式。
  • datatype 是可选的,用于指定返回值的数据类型。

以下是一些示例:

  1. 提取JSON文档中的单个值:

    SELECT JSON_VALUE('{"name": "John","age": 30}', '$.name') as name FROM dual;
    

    输出:

    NAME
    ----
    John
    
    
  2. 提取JSON文档中的数组:

    SELECT JSON_VALUE('{"fruits": ["apple","banana","orange"]}', '$.fruits') as fruits FROM dual;
    
    

    输出:

    FRUITS
    -----------------------
    ["apple", "banana", "orange"]
    
    
  3. 提取JSON文档中的数组元素:

    SELECT JSON_VALUE('{"fruits": ["apple", '$.fruits[0]') as first_fruit FROM dual;
    
    

    输出:

    FIRST_FRUIT
    -----------
    apple
    
    
  4. 指定返回值的数据类型:

    SELECT JSON_VALUE('{"price": 9.99}', '$.price' RETURNING NUMBER) as price FROM dual;
    
    

    输出:

    PRICE
    -----
    9.99
    
    

在使用JSON_VALUE函数时,需要注意以下几点:

  • 如果路径表达式不匹配JSON文档中的任何内容,则返回NULL。
  • 如果未指定返回值的数据类型,则返回的值将是一个字符串。
  • JSON_VALUE函数还有一个类似的兄弟函数JSON_QUERY,不同的是,它返回JSON对象或数组,而不是标量值。

JSON_QUERY

JSON_QUERY函数用于从JSON文档中查询数据,返回一个JSON对象或数组。它的语法如下:

JSON_QUERY(json_document, path_expression [RETURNING datatype])

其中:

  • json_document 是包含JSON文档的字符串或BLOB列。
  • path_expression 是用于指定要查询的值的路径表达式。
  • datatype 是可选的,用于指定返回值的数据类型。

以下是一些示例:

  1. 查询JSON文档中的单个值:
SELECT JSON_QUERY('{"name": "John", '$.name') as name FROM dual;

输出:

NAME
----
null
  1. 查询JSON文档中的数组:
SELECT JSON_QUERY('{"fruits": ["apple","orange"]}','$.fruits') as fruits FROM dual;

输出:

FRUITS
-----------------------
["apple","orange"]
  1. 查询JSON文档中的数组元素:
SELECT JSON_QUERY('{"fruits": ["apple",'$.fruits[0]') as first_fruit FROM dual;

输出:

FIRST_FRUIT
-----------
null

因为是单值,json_query无法展示

在使用JSON_QUERY函数时,需要注意以下几点:

  • 如果路径表达式不匹配JSON文档中的任何内容,则返回NULL。
  • 如果未指定返回值的数据类型,则返回的值将是一个字符串。
  • JSON_QUERY函数还有一个类似的兄弟函数JSON_VALUE,不同的是,它返回标量值,而不是JSON对象或数组。

总之,JSON_QUERY函数在处理JSON文档时非常有用,可以轻松地查询和提取需要的数据。

JSON_TABLE

JSON_TABLE函数可以将JSON数据转换为表格形式。以下是JSON_TABLE的用法:

语法:

JSON_TABLE(json,path COLUMNS (column1 expr1 [,column2 expr2]...))

参数说明:

  • json:要转换的JSON数据。
  • path:要提取的JSON元素的路径。
  • COLUMNS:指定要转换的列及其表达式。
  • column1 expr1 [,column2 expr2]...:指定要转换的列及其表达式。

示例:

假设我们有以下JSON数据:

{
  "employees": [
    { "name": "John", "age": 30, "gender": "male" },
    { "name": "Jane", "age": 25, "gender": "female" },
    { "name": "Bob", "age": 35, "gender": "male" }
  ]
}

我们可以使用以下查询将其转换为表格形式:

SELECT name,age,gender
FROM JSON_TABLE('{
  "employees": [
    { "name": "John","age": 30,"gender": "male" },{ "name": "Jane","age": 25,"gender": "female" },{ "name": "Bob","age": 35,"gender": "male" }
  ]
}','$.employees[*]' COLUMNS (
  name VARCHAR2(50) PATH '$.name',age NUMBER PATH '$.age',gender VARCHAR2(10) PATH '$.gender'
));

输出结果:

NAME   AGE  GENDER
------ ---- ------
John   30   male
Jane   25   female
Bob    35   male

在上面的例子中,$.employees[*]指定要处理的JSON元素路径,name,age,和 gender 列使用 PATH 关键字指定表达式的路径。

进阶实战篇

我举个实际的例子,我有一列,对应的一列的数据大概是这样的:

{
    "name": "cxk",	// string
    "sex": "female",	// stirng
    "hobbies": ["sing", "dance", "rap", "basketball"], // 普通数组
    "company": {"name": "unknow", "staffNum": "unknow"},	// 对象属性
    "fans": [		// 对象数组
    	{"name": "ncFans1"},
		{"name": "ncFans2"}
    ]
}

1. JSON_QUERY与JSON_VALUE的区别

看了前面的介绍,可能有些同学对这个完全不能理解,有什么区别?

  1. 查询单值
select JSON_QUERY
('{
    "name": "cxk","sex": "female","hobbies": ["sing","dance","rap","basketball"],"company": {"name": "unknow","staffNum": "unknow"},"fans": [		
    	{"name": "ncFans1"},{"name": "ncFans2"}
    ]
}', '$.name'
) as json_query_res,

JSON_VALUE
('{
    "name": "cxk", '$.name'
) as json_value_res 
from dual;

输出结果:

JSON_QUERY_RES   JSON_VALUE_RES
--------------------------------
null				cxk

区别1:json_query无法返回单值,json_value可以返回单值

  1. 查询对象
select JSON_QUERY
('{
    "name": "cxk", '$.company'
) as json_query_res, '$.company'
) as json_value_res 
from dual;

输出结果:

JSON_QUERY_RES   							JSON_VALUE_RES
--------------------------------			------------------
{"name": "unknow", "staffNum": "unknow"}		null

区别2:json_query能返回对象,json_value不能返回对象值

  1. 查询普通数组
select JSON_QUERY
('{
    "name": "cxk", '$.hobbies'
) as json_query_res, '$.hobbies'
) as json_value_res 
from dual;

输出结果:

JSON_QUERY_RES   							JSON_VALUE_RES
--------------------------------			------------------
["sing", "basketball"]		null

区别3:json_query能返回普通数组,json_value不能返回数组

  1. 结合1、2、3点,我们给hobbies加个下标
select JSON_QUERY
('{
    "name": "cxk","staffNum": "unknow"}	
    "fans": [		
    	{"name": "ncFans1"}, '$.hobbies[0]'
) as json_query_res, '$.hobbies[0]'
) as json_value_res 
from dual;

输出结果:

JSON_QUERY_RES   							JSON_VALUE_RES
--------------------------------			------------------
null										sing
  1. 查询对象数组
select JSON_QUERY
('{
    "name": "cxk", '$.fans'
) as json_query_res, '$.fans'
) as json_value_res 
from dual;

输出结果:

JSON_QUERY_RES   							JSON_VALUE_RES
--------------------------------			------------------
[{"name": "ncFans1"},{"name": "ncFans2"}]	null

区别4:JSON_QUERY可以匹配对象数组的值,JSON_VALUE不可以

2. JSON_EXISTS判断某个值是否等于目标值

这是比较难的一个步骤,我自己摸索了很久很久才懂,我这里举例都写到了谓动词的位置,实际上JSON_EXISTS是用在where后的。

  1. 案例1:找出存在name属性的行
SELECT case when JSON_EXISTS('{"name": "John","city": "New York"}', '$.name') then 'true' else 'false' end as result FROM dual;

输出:

RESULT
---------
true

但其实,我们更多都是在匹配name值等于具体的值,这就要用匹配的机制,但愿你还记得前面介绍的用法

SELECT case when JSON_EXISTS('
{
    "name": "cxk",{"name": "ncFans2"}
    ]
}
', '$.name ? (@ == "cxk")') then 'true' else 'false' end as result FROM dual;

@表示当前name属性这一层,值一定要用双引号括起来

  1. 多值匹配
SELECT case when JSON_EXISTS('
{
    "name": "cxk", '$.company ? (@.name == "unknow" && @.staffNum == "unknow")') then 'true' else 'false' end as result FROM dual;
  1. 如果是不同层级的多值匹配,建议在where后用AND连接起来,比如:
select * from mytable where
JSON_EXISTS(my_cloumn, '$.name ? (@ == "cxk")')
AND
JSON_EXISTS(my_cloumn, '$.company ? (@.name == "unknow" && @.staffNum == "unknow")')
  1. JSON_EXISTS可以检索普通数组中的值
SELECT case when JSON_EXISTS('
{
    "name": "cxk", 
'$.hobbies[*] ? (@ == "sing")')
then 'true' else 'false' end as result FROM dual;

执行结果为true

  1. JSON_EXISTS无法检索对象数组
SELECT case when JSON_EXISTS('
{
    "name": "cxk", 
'$.fans")')
then 'true' else 'false' end as result FROM dual;

无论是$.fans还是$.fans[*]返回结果都是false,完全无法获取对象数组中的值。无法判断里面的值的对比情况。

  1. JSON_EXISTS遇到空数组时,返回的是true
SELECT case when JSON_EXISTS('
{
    "name": "cxk",	
    "sex": "female",	
    "hobbies": ["sing", 
    "company": {"name": "unknow", "staffNum": "unknow"}	
    "fans": []
}
', 
'$.fans")')
then 'true' else 'false' end as result FROM dual;

但如果是$.fans[0]返回的是false

3. $.xx中不能用字符串拼接、不能用任何函数会报ORA-40442错误

4. 比较非对象数组的值除了JSON_EXISTS可以用JSON_VALUE与JSON_QUERY

select * from mytable where
JSON_VALUE(my_cloumn, '$.name') = 'cxk'
and
JSON_QUERY(my_cloumn, '$.fans') = '[]' -- 判空

5. JSON_QUERY不支持通配符,查询全部就是$.fans,不需要$.fans[*];支持使用下标指定

6. JSON_VALUE与JSON_QUERY可以嵌套使用,比如

SELECT * from mytable where
JSON_VALUE(JSON_QUERY(my_cloumn, '$.fans'), '$.name') = 'ncFans1'

这个语句就是查找出fans中有ncFans1的记录

7. 数组判空

  1. 使用JSON_QUERY
select * from mytable where
JSON_QUERY(my_cloumn, '$.fans') = '[]'
  1. 使用JSON_EXISTS
select * from mytable where
not JSON_EXISTS(my_cloumn, '$.fans[0]')

8. 使用JSON_TABLE可以解决任何复杂的问题,但是JSON_TABLE本身就很复杂,如果用来筛选数据,那这个语句太难维护了。

9. 在mybatis框架中,由于$.xx的语句要放在单引号中',切不能使用任何函数,不能字符拼接,所以用#{}无法注入,要用${},这在有些公司是不被允许的。目前我是这么用了,等安全部门的渗透测试结果出来,是否有sql注入风险再来更新。

注意事项

以上提到的操作均需要在Oracle12以上版本中使用,但并不是12以上版本都能使用。这个和数据库设置的compatible值有关。compatible必须大于12.0才可以使用。
你可以使用拥有DBA权限的用户执行以下语句查看compatible

SELECT name, value FROM v$parameter WHERE name = 'compatible'

否则,你会得到这样的一个报错
ORA-00406: COMPATIBLE parameter needs to be 12.0 or greater
然后你就白忙活了,因为一般都不会为了你特地升级compatible的。没事,我就是白忙活了。

原文地址:https://blog.csdn.net/interestANd/article/details/129499167

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读773次,点赞6次,收藏9次。【代码】c# json字符串转Oracle的insert into的小程序。
文章浏览阅读8.7k次,点赞2次,收藏17次。此现象一般定位到远端的监听服务来找问题,在远端查看监听服务状态(具体看下面的解决方案会详细呈现),服务是否开启,另外查看监听端点概要是否存在host未指向到计算名的,如无直接进入监听配置文件listener.ora内添加指向即可。2、查看监听服务状态 lsnrctl status,右边为远端端点状态,未添加host指向到计算名;1、本地及远端安装好Oracle并配置好连接,Oracle服务和监听已启动;1、远程Oracle数据库:Oracle11g R2。或者进入下述服务手动重启。,再进行远程连接即可。_ora-12541:tns:无监听程序
文章浏览阅读2.8k次。mysql脚本转化为oracle脚本_mysql建表语句转oracle
文章浏览阅读2.2k次。cx_Oracle报错:cx_Oracle DatabaseError: DPI-1047: Cannot locate a 64-bit Oracle Client library_cx_oracle.databaseerror: dpi-1047: cannot locate a 64-bit oracle client libr
文章浏览阅读1.1k次,点赞38次,收藏35次。本文深入探讨了Oracle数据库的核心要素,包括体系结构、存储结构以及各类参数。通过解析Oracle数据库的体系结构,读者可以深入了解其内部组成和工作原理。存储结构部分介绍了数据在Oracle中的存储方式,从表空间到数据文件的层层逻辑。最后,我们深入探讨了Oracle数据库中各类参数的作用和配置方法,帮助读者更好地理解和优化数据库性能。本文旨在帮助读者全面理解Oracle数据库的运作机制,为其在实践中的应用提供基础和指导。
文章浏览阅读1.5k次。默认自动收集统计信息的时间为晚上10点(周一到周五,4个小时),早上6点(周六,周日,20个小时)由于平时默认每天只收集4小时,时间有点短了,改成每天可收集8小时。oracle 18c中默认是打开的。查看当前自动收集统计信息的时间。_oracle自动收集统计信息
文章浏览阅读929次,点赞18次,收藏20次。只有assm(Automatic Shared Memory Management)模式可以使用大页,需要关闭amm(Memory Manager Process)HugePages_Free: 306 (空闲306页,已使用306-306=0页)防止oracle使用的内存交换,所以设置的大小与oracle配置的sga、pga相关。HugePages_Rsvd: 0 (操作系统承诺给oracle预留的页数)HugePages_Total: 306 (总共306页)_oracle11g 大页
文章浏览阅读801次。例如:10046:0,1,4,8,12。默认redo日志有三个,大小为50M,循环覆盖使用。redo log再覆盖之前,会被归档,形成归档日志。答:不同事件,不同级别。trace的不同级别?_oracle 日志
文章浏览阅读4.2k次,点赞84次,收藏77次。主要讲解MySQL中SQL的DDL语句,其中包括对数据库和表的一系列操作。_sql ddl 新增字段 mysql
文章浏览阅读1.1k次。ON DEMAND:仅在该物化视图“需要”被刷新了,才进行刷新(REFRESH),即更新物化视图,以保证和基表数据的一致性;ON COMMIT:一旦基表有了COMMIT,即事务提交,则立刻刷新,立刻更新物化视图,使得数据和基表一致。Method =>'C',物化视图有三种刷新方式:COMPLETE、FAST和FORCE。物化视图会占用空间,一半可用于大量数据查询时,减缓主表的查询压力使用。例如创建一个物化视图,让对接单位查询。_oracle物化视图定时刷新
文章浏览阅读713次,点赞21次,收藏18次。1.背景介绍在当今的大数据时代,数据量越来越大,传统的关系型数据库已经无法满足业务需求。因此,NoSQL数据库技术迅速崛起,成为企业和开发者的首选。Oracle NoSQL Database是Oracle公司推出的一款分布式NoSQL数据库产品,具有高性能、高可用性和易于扩展等特点。在本文中,我们将深入了解Oracle NoSQL Database的集成与开发者工具,帮助您更好地掌握这款产品的...
文章浏览阅读2.5k次,点赞2次,收藏4次。今天遇见一个问题需要将字段中包含中文字符串的筛选出来。_oracle查询包含中文字符
文章浏览阅读802次。arcmap 在oracle删除表重新创建提示表名存在解决放啊
文章浏览阅读4.3k次,点赞2次,收藏4次。Oracle连接数据库提示 ORA-12638:身份证明检索失败_ora-12638
文章浏览阅读3.4k次,点赞6次,收藏25次。etc/profile是一个全局配置文件,所有用户登录都会使用该文件构建用户环境。与windows配置环境变量是一个道理。选择Linux系统,找到适合自己系统的安装包,我的是CentOS 8 x64。接下来需要登陆Oracle账户才能下载,无账户的可以自己注册一个。Linux中export 命令用于设置或显示环境变量。模式,利用上下键到文档最后,添加以下代码。出现如图所示版本号字样,则说明安装成功。点击下载,勾选1,点击2。记住完整路径用于后面配置。找到Java并点击进去。往下翻,找到Java8。_linux安装jdk1.8
文章浏览阅读2.4w次,点赞26次,收藏109次。JDK 是的简称,也就是 Java 开发工具包。JDK 是整个 Java 的核心,其中JDK包含了 Java 运行环境(Java Runtime Envirnment,简称 JRE),Java 工具(比如 javac、java、javap 等等),以及 Java 基础类库(比如 rt.jar)。最主流的 JDK 是Oracle公司发布的 JDK,除了 Oracle JDK(商业化,更稳定)之外,还有很多公司和组织开发了属于自己的 JDK,比较有名的有IBM JDK(更适合 IBM) 和OpenJDK。_jdk安装教程
文章浏览阅读7.5w次。出现 “java.sql.SQLNonTransientConnectionException:Could not create connection to database server” 的错误通常是由于无法连接到数据库服务器引起的。_java.sql.sqlnontransientconnectionexception: could not create connection to
文章浏览阅读849次,点赞7次,收藏10次。在ClickHouse中创建用户、数据库并进行权限分配是一个重要的管理任务,它涉及到安全性和访问控制。下面是一个基本的指南来帮助你完成这些操作:1. 创建数据库首先,需要创建一个数据库。使用以下命令:CREATE DATABASE IF NOT EXISTS your_database_name;将 your_database_name 替换为你想要的数据库名。2. 创建用户接下来,创建一个新用户。使用以下命令:CREATE USER your_username IDENTIFIED WIT_在clickhouse中如何创建用户 赋权
文章浏览阅读1.2k次,点赞53次,收藏39次。本文是一篇关于Oracle数据库安装和使用的博文摘要。作者以轻松幽默的笔调介绍了自己在实验中掌握的Oracle数据库基本操作,包括使用组件查看命令、配置数据库监听器等。作者也分享了在实验中遇到的一些有趣问题,如SQL语句缺少分号导致的意外错误。此外,作者还强调了登录sys用户和启动实例加载数据库的注意事项,并鼓励读者面对挑战时保持乐观,不断提升自己的能力。整体风格风趣严谨,引人入胜。
文章浏览阅读820次,点赞17次,收藏16次。KingbaseES、xml、dbms_xmlgen、SETSKIPROWS、人大金仓、KingbaseES兼容Oracle包dbms_xmlgen的功能是通过SQL查询将关系表中数据转化为XML文档。转化方式一共有两种:(1)通过查询字符串直接转化。(2)通过上下文句柄转化。对于通过查询字符串直接转化的方式,无法跳过若干行进行查询,只能直接将表格中的所有数据转化为XML文档。