jsonpath:使用Python处理JSON数据

分类：Json作者：技术~子云

使用Python处理JSON数据

25.1 JSON简介

25.1.1 什么是JSON

    JSON全称为JavaScript Object Notation，一般翻译为JS标记，是一种轻量级的数据交换格式。是基于ECMAScript的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言，其主要特点有：易于阅读、易于机器生成、有效提升网络速度等。

25.1.2 JSON的两种结构

    JSON简单来说，可以理解为JavaScript中的数组和对象，通过这两种结构，可以表示各种复杂的结构。

25.1.2.1 数组

    数组在JavaScript是使用中括号[ ]来定义的，一般定义格式如下所示：

let array=["Surpass","28","Shanghai"];

    若要对数组取值，则需要使用索引。元素的类型可以是数字、字符串、数组和对象等。

25.1.2.2 对象

    对象在JavaScript是使用大括号{ }来定义的，一般定义格式如下所示：

let personInfo={
  name:"Surpass",age:28,location:"Shanghai"
}

    对象一般是基于key和value，在JavaScript中，其取值方式也非常简单variable.key即可。元素value的类型可以是数字、字符串、数组和对象等。

25.1.3 支持的数据格式

    JSON支持的主要数据格式如下所示：

  • 数组：使用中括号
  • 对象：使用大括号
  • 整型、浮点型、布尔类型和null
  • 字符串类型：必须使用双引号，不能使用单引号

    多个数据之间使用逗号做为分隔符，基与Python中的数据类型对应表如下所示：

JSON Python
Object dict
array list
string str
number(int) int
number(real) float
true True
false False
null None

25.2 Python对JSON的支持

25.2.1 Python 和 JSON 数据类型

    在Python中主要使用json模块来对JSON数据进行处理。在使用前，需要导入json模块，用法如下所示：

import json

    json模块中主要包含以下四个操作函数，如下所示：

    在json的处理过种中，Python中的原始类型与JSON类型会存在相互转换，具体的转换表如下所示：

  • Python 转换为 JSON
Python JSON
dict Object
list array
tuple array
str string
int number
float number
True true
False false
None null
  • JSON 转换为 Python
JSON Python
Object dict
array list
string str
number(int) int
number(real) float
true True
false False
null None
25.2.2 json模块常用方法

    关于Python 内置的json模块，可以查看之前我写的文章：https://www.cnblogs.com/surpassme/p/13034972.html

25.3 使用JSONPath处理JSON数据

    内置的json模块，在处理简单的JSON数据时，易用且非常非常方便，但在处理比较复杂且特别大的JSON数据，还是有一些费力，今天我们使用一个第三方的工具来处理JSON数据，叫JSONPath。

25.3.1 什么是JSONPath

    JSONPath是一种用于解析JSON数据的表达语言。经常用于解析和处理多层嵌套的JSON数据，其用法与解析XML数据的XPath表达式语言非常相似。

25.3.2 安装

    安装方法如下所示：

# pip install -U jsonpath
25.3.3 JSONPath语法

    JSONPath语法与XPath非常相似，其对应参照表如下所示：

XPath JSONPath 描述
/ $ 根节点/元素
. @ 当前节点/元素
/ . or [] 子元素
.. n/a 父元素
// .. 递归向下搜索子元素
* * 通配符，表示所有元素
@ n/a 访问属性，JSON结构的数据没有这种属性
[] [] 子元素操作符(可以在里面做简单的迭代操作，如数据索引，根据内容选值等)
| [,] 支持迭代器中做多选
n/a [start :end :step] 数组分割操作
[] ?() 筛选表达式
n/a () 支持表达式计算
() n/a 分组，JSONPath不支持

以上内容可查阅官方文档：JSONPath - XPath for JSON

    我们以下示例数据为例，来进行对比，如下所示：

{ "store": 
  {
    "book": [ 
      { "category": "reference","author": "Nigel Rees","title": "Sayings of the Century","price": 8.95
      },{ "category": "fiction","author": "Evelyn Waugh","title": "Sword of Honour","price": 12.99
      },"author": "Herman Melville","title": "Moby Dick","isbn": "0-553-21311-3","price": 8.99
      },"author": "J. R. R. Tolkien","title": "The Lord of the Rings","isbn": "0-395-19395-8","price": 22.99
      }
    ],"bicycle": {
      "color": "red","price": 19.95
    }
  }
}
XPath JSONPath 结果
/store/book/author $.store.book[*].author 获取book节点中所有author
//author $..author 获取所有author
/store/* $.store.* 获取store的元素，包含book和bicycle
/store//price $.store..price 获取store中的所有price
//book[3] $..book[2] 获取第三本书所有信息
//book[last()] ..����[(@.�����ℎ−1)]..book[-1:] 获取最后一本书的信息
//book[position()❤️] ..����[0,1]..book[:2] 获取前面的两本书
//book[isbn] $..book[?(@.isbn)] 根据isbn进行过滤
//book[price<10] $..book[?(@.price<10)] 根据price进行筛选
//* $..* 所有元素

在XPath中，下标是1开始，而在JSONPath中是从0开始

JSONPath在线练习网址：JSONPath Online Evaluator

25.3.4 JSONPath用法

    其基本用法形式如下所示：

jsonPath(obj,expr [,args])

    基参数如下所示：

  • obj (object|array):

    JSON数据对象

  • expr (string):

    JSONPath表达式

  • args (object|undefined):

    改变输出格式，比如是输出是值还是路径，

args.resultType可选的输出格式为："VALUE"、"PATH"、"IPATH"

  • 返回类型为(array|false):

    若返回array，则代表成功匹配到数据，false则代表未匹配到数据。

25.3.5 在Python中的使用
from jsonpath import  jsonpath
import json

data = {
    "store":
        {
            "book": [
                {
                    "category": "reference","price": 8.95
                },{
                    "category": "fiction","price": 12.99
                },"price": 8.99
                },"price": 22.99
                }
            ],"bicycle": {
                "color": "red","price": 19.95
            }
        }
}

#  获取book节点中所有author
getAllBookAuthor=jsonpath(data,"$.store.book[*].author")
print(f"getAllBookAuthor is :{json.dumps(getAllBookAuthor,indent=4)}")
#  获取book节点中所有author
getAllAuthor=jsonpath(data,"$..author")
print(f"getAllAuthor is {json.dumps(getAllAuthor,indent=4)}")
#  获取store的元素，包含book和bicycle
getAllStoreElement=jsonpath(data,"$.store.*")
print(f"getAllStoreElement is {json.dumps(getAllStoreElement,indent=4)}")
# 获取store中的所有price
getAllStorePriceA=jsonpath(data,"$[store]..price")
getAllStorePriceB=jsonpath(data,"$.store..price")
print(f"getAllStorePrictA is {getAllStorePriceA}\ngetAllStorePriceB is {getAllStorePriceB}")
# 获取第三本书所有信息
getThirdBookInfo=jsonpath(data,"$..book[2]")
print(f"getThirdBookInfo is {json.dumps(getThirdBookInfo,indent=4)}")
# 获取最后一本书的信息
getLastBookInfo=jsonpath(data,"$..book[-1:]")
print(f"getLastBookInfo is {json.dumps(getLastBookInfo,indent=4)}")
# 获取前面的两本书
getFirstAndSecondBookInfo=jsonpath(data,"$..book[:2]")
print(f"getFirstAndSecondBookInfo is {json.dumps(getFirstAndSecondBookInfo,indent=4)}")
#  根据isbn进行过滤
getWithFilterISBN=jsonpath(data,"$..book[?(@.isbn)]")
print(f"getWithFilterISBN is {json.dumps(getWithFilterISBN,indent=4)}")
# 根据price进行筛选
getWithFilterPrice=jsonpath(data,"$..book[?(@.price<10)]")
print(f"getWithFilterPrice is {json.dumps(getWithFilterPrice,indent=4)}")
# 所有元素
getAllElement=jsonpath(data,"$..*")
print(f"getAllElement is {json.dumps(getAllElement,indent=4)}")
# 未能匹配到元素时
noMatchElement=jsonpath(data,"$..surpass")
print(f"noMatchElement is {noMatchElement}")
# 调整输出格式
controlleOutput=jsonpath(data,expr="$..author",result_type="PATH")
print(f"controlleOutput is {json.dumps(controlleOutput,indent=4)}")

    最终输出结果如下扬尘：

getAllBookAuthor is :[
    "Nigel Rees","Evelyn Waugh","Herman Melville","J. R. R. Tolkien"
]
getAllAuthor is [
    "Nigel Rees","J. R. R. Tolkien"
]
getAllStoreElement is [
    [
        {
            "category": "reference","price": 8.95
        },{
            "category": "fiction","price": 12.99
        },"price": 8.99
        },"price": 22.99
        }
    ],{
        "color": "red","price": 19.95
    }
]
getAllStorePrictA is [8.95,12.99,8.99,22.99,19.95]
getAllStorePriceB is [8.95,19.95]
getThirdBookInfo is [
    {
        "category": "fiction","price": 8.99
    }
]
getLastBookInfo is [
    {
        "category": "fiction","price": 22.99
    }
]
getFirstAndSecondBookInfo is [
    {
        "category": "reference","price": 8.95
    },{
        "category": "fiction","price": 12.99
    }
]
getWithFilterISBN is [
    {
        "category": "fiction","price": 8.99
    },"price": 22.99
    }
]
getWithFilterPrice is [
    {
        "category": "reference","price": 8.99
    }
]
getAllElement is [
    {
        "book": [
            {
                "category": "reference","price": 8.95
            },{
                "category": "fiction","price": 12.99
            },"price": 8.99
            },"price": 22.99
            }
        ],"bicycle": {
            "color": "red","price": 19.95
        }
    },[
        {
            "category": "reference","price": 19.95
    },{
        "category": "reference","price": 12.99
    },"price": 22.99
    },"reference","Nigel Rees","Sayings of the Century",8.95,"fiction","Sword of Honour","Moby Dick","0-553-21311-3","J. R. R. Tolkien","The Lord of the Rings","0-395-19395-8","red",19.95
]
noMatchElement is False
controlleOutput is [
    "$['store']['book'][0]['author']","$['store']['book'][1]['author']","$['store']['book'][2]['author']","$['store']['book'][3]['author']"
]

原文地址：https://blog.csdn.net/davice_li/article/details/134923535

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

优化cesium里的热力图
文章浏览阅读2.4k次。最近要优化cesium里的热力图效果，浏览了网络上的各种方法，发现大多是贴在影像上的。这么做好是好，但是会被自生添加的模型或者其他数据给遮盖。其次是网上的方法大多数是截取成一个矩形。不能自定义的截取自己所需要的。经过尝试，决定修改下cesium heatmap，让他达到我们需要的要求。首先先下载 cesium heatmap包。其中我们可以看到也是通过叠加entity达到添加canvas的方法绘制到地图上。我们先把这一段代码注释} else {} };
python读写json文件方法详解
文章浏览阅读1.2w次，点赞3次，收藏19次。在 Python中读取 json文件也可以使用 sort （）函数，在这里我介绍一个简单的示例程序： （4）如果我们想将字符串转换为列表形式，只需要添加一个变量来存储需要转换的字符串即可。在上面的代码中，我们创建了一个名为` read`的对象，然后在文件的开头使用`./`关键字来命名该对象，并在文件中定义了一个名为` json`的变量，并在其中定义了一个名为` json`的字段。比如，我们可以使用 read方法读取 json文件中的内容，然后使用 send方法将其发送到 json文件中。_python怎么读取json文件
Python API：它是什么以及如何使用它
文章浏览阅读1.4k次。首字母缩略词 API 代表应用程序编程接口，它是一种设备，例如用于使用编程代码发送和检索数据的服务器。最常见的是，该技术用于从源检索数据并将其显示给软件应用程序及其用户。当您访问网页时，API 的工作方式与浏览器相同，信息请求会发送到服务器，如何在 Windows PC 中手动创建系统还原点服务器会做出响应。唯一的区别是服务器响应的数据类型，对于 API，数据是 JSON 类型。JSON 代表 JavaScript Object Notation，它是大多数软件语言中 API 的标准数据表示法。_api是什么 python
解决一个JSON反序列化问题-空字符串变为空集合
文章浏览阅读802次，点赞10次，收藏10次。解决一个JSON反序列化问题-空字符串变为空集合_cannot coerce empty string ("") to element of `java.util.arraylist
Untiy Json和Xml的序列化和反序列化
文章浏览阅读882次。Unity Json和Xml的序列化和反序列化_unity json反序列化存储换行
使用ant design vue的a-upload上传组件，自定义上传事件，点了导入图标按钮就自动打开了电脑上的文件夹，将选中的.json文件里的数据解析出来页面使用（纯前端操作）
文章浏览阅读796次。reader.readAsText(data.file)中data.file的数据格式为。使用FileReader对象读取文件内容，最后将文件内容进行处理使用。_a-upload 同时支持文件和文件夹
json解析之fastjson和jackson使用对比
文章浏览阅读775次，点赞19次，收藏10次。fastjson是由国内的阿里推出的一种json处理器，由java语言编写，无依赖，不需要引用额外的jar包，能直接运行在jdk环境中，它的解析速度是非常之快的，目前超过了所有json库。提示：以下是引用fastjson的方法，数据未涉及到私密信息。_解析器用fastjson还是jackson
【Qt之JSON文件】QJsonDocument、QJsonObject、QJsonArray等类介绍及使用
文章浏览阅读940次。【Qt之JSON文件】QJsonDocument、QJsonObject、QJsonArray等类介绍及使用_使用什么方法检查qjsondocument是否为空
ajax与 JSON
文章浏览阅读957次，点赞34次，收藏22次。主要内容原生 ajax重点重点JSON熟悉章节目标掌握原生 ajax掌握jQuery ajax掌握JSON第一节 ajax1. 什么是ajaxAJAX 全称为，表示异步的Java脚本和Xml文件，是一种异步刷新技术。2. 为什么要使用ajaxServlet进行网页的变更往往是通过请求转发或者是重定向来完成，这样的操作更新的是整个网页，如果我们只需要更新网页的局部内容，就需要使用到AJAX来处理了。因为只是更新局部内容，因此，Servlet。
@JsonFormat与@DateTimeFormat
文章浏览阅读1.4k次，点赞45次，收藏13次。主要介绍了JsonFormat与@DateTimeFormat注解实例解析,文中通过示例代码介绍的非常详细，对大家的学习 或者工作具有一定的参考学习价值,需要的朋友可以参考下 这篇文章主要介绍了从数据库获取时间传到前端进行展示的时候，我们有时候可能无法得到一个满意的时间格式的时间日期，在数据库中显 示的是正确的时间格式，获取出来却变成了时间戳，@JsonFormat注解很好的解决了这个问题，我们通过使用 @JsonFormat可以很好的解决：后台到前台时间格式保持一致的问题，
@JsonDeserialize和@JsonSerialize注解的使用
文章浏览阅读1k次。JsonDeserialize：json反序列化注解，作用于setter()方法，将json数据反序列化为java对象。可以理解为用在处理接收的数据上。_jsondeserialize
labelme标注的json文件转yolo格式
文章浏览阅读2.7k次。labelme标注的json文件是在数据标注时产生，不能直接应用于模型训练。各大目标检测训练平台或项目框架均有自己的数据格式要求，通常为voc、coco或yolo格式。由于yolov8项目比较火热，故此本博文详细介绍将json格式标注转化为yolo格式的过程及其代码。_labelme json 转 yolo
mysql聚合函数andjson_object 例子
文章浏览阅读790次，点赞26次，收藏6次。GROUP_CONCAT_UNORDERED(): 与GROUP_CONCAT类似，但不保证结果的顺序。COUNT_DISTINCT_AND_ORDERED(): 计算指定列的不同值的数量，并保持结果的顺序。COUNT_ALL_DISTINCT(): 计算指定列的所有不同值的数量（包括NULL）。AVG_RANGE(): 计算指定列的最大值和最小值之间的差异的平均值。JSON_OBJECT(): 将结果集中的行转换为JSON对象。COUNT_DISTINCT(): 计算指定列的不同值的数量。_mysql json 聚合
ajax同步与异步,json-serve的安装与使用,node.js的下载
文章浏览阅读1.2k次。ajax同步与异步,json-serve的安装与使用,node.js的下载_json-serve 与node版本
C# 操作json
文章浏览阅读1.7k次。`.net core`提供了Json处理模块，在命名空间`System.Text.Json`中，下面通过顶级语句，对C#的Json功能进行讲解。_c# json
python之json文件读写操作
文章浏览阅读2.8k次。主要介绍了python对于json文件的读写操作内容_python读取json文件
Json中文乱码问题的解决方法——C#实现
文章浏览阅读770次。然而，有时候在处理包含中文字符的Json数据时会出现乱码的情况。本文将介绍一种解决Json中文乱码问题的常见方法，并提供相应的源代码和描述。而某些情况下，中文字符可能会被错误地编码或解码，导致乱码的出现。通过适当地控制编码和解码过程，我们可以有效地处理包含中文字符的Json数据，避免乱码的发生。通过控制编码和解码过程，我们可以确保Json数据中的中文字符能够正确地传输和解析。为了解决这个问题，我们可以使用C#的System.Text.Encoding类提供的方法进行编码和解码的控制。_c# json 中文编码
【工具】XML和JSON互相转换
文章浏览阅读997次。【代码】【工具】XML和JSON互相转换。_xml 转json
jsonpath提取数据
文章浏览阅读1.1k次。json path 提取数据_jsonpath数组取值
pandas read_json时ValueError: Expected object or value的解决方案
文章浏览阅读3w次，点赞35次，收藏36次。本文主要介绍了pandas read_json时ValueError: Expected object or value的解决方案，希望能对学习python的同学们有所帮助。文章目录1. 问题描述2. 解决方案_valueerror: expected object or value
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot