Django查询数据库的性能优化示例代码

分类：Python作者：编程之家用户

前言

Django数据层提供各种途径优化数据的访问，一个项目大量优化工作一般是放在后期来做，早期的优化是“万恶之源”，这是前人总结的经验，不无道理。如果事先理解Django的优化技巧，开发过程中稍稍留意，后期会省不少的工作量。

现在有一张记录用户信息的UserInfo数据表,表中记录了10个用户的姓名,呢称,年龄,工作等信息.

models文件

 from django.db import models
 
 class Job(models.Model):
  title=models.CharField(max_length=32)
 
 class UserInfo(models.Model):
  username=models.CharField(max_length=32)
  nickname=models.CharField(max_length=32)
  job=models.ForeignKey(to="Job",to_field="id",null=True)

数据表中记录:

另一张数据表记录用户工作的Job表,关联用户的工作字段.

要查出每个用户的用户名,呢称和工作等信息

 def index(request):
  user_list=models.UserInfo.objects.all()
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
 
  for user in user_list:
 
   print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
 
  return render(request,'index.html')

打印信息:

SELECT "app01_userinfo"."id","app01_userinfo"."username","app01_userinfo"."nickname","app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

在服务端进行这些操作,这些查询语句的性能是很低的,遍历取出这10个用户的姓名,工作等信息要在两张数据库中执行11次查询操作.

首先只从UserInfo表中查出所有的用户记录,需要执行一次查询操作.

查询Job数据表,每循环一次用户信息的列表,都需要从Job表中查询一次用户的工作信息.

数据表中总共记录了10条用户记录,所以还需要循环10次才能从Job表中查询完成所有用户的工作信息.所以一共需要执行11次数据库查询操作.

那有没有什么好的方法能够提高数据库查询的效率呢???

 def index(request):
  user_list=models.UserInfo.objects.values("username","nickname","job")
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
  print("user_list:",user_list)
 
  for user in user_list:
 
   print(user["username"],user["nickname"],user["job"])
 
  return render(request,'index.html')

运行程序,在服务端后台打印信息:

SELECT "app01_userinfo"."username","app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [{'username': 'user1','nickname': 'user1','job': 1},{'username': 'user2','nickname': 'user2','job': 2},{'username': 'user3','nickname': 'user3','job': 3},{'username': 'user4','nickname': 'user4',{'username': 'user5','nickname': 'user5',{'username': 'user6','nickname': 'user6',{'username': 'user7','nickname': 'user7',{'username': 'user8','nickname': 'user8',{'username': 'user9','nickname': 'user9',{'username': 'user10','nickname': 'user10','job': 2}]>
user1 user1 1
user2 user2 2
user3 user3 3
user4 user4 1
user5 user5 2
user6 user6 3
user7 user7 1
user8 user8 2
user9 user9 3
user10 user10 2

可以看到,查询的结果user_list依然是一个QuerySet,但这个对象集合内部却是一个字典.

而且这次的查询只执行了两次数据库查询操作.

通过这种方式,只需要两次查询就能得到想要的数据,优化了数据库的查询效率.

Django数据库优化操作之select_related主动联表查询

上面的例子里,取对象集合的时候,难道只能查询当前数据表,不能查询其他数据表吗??

当然不是,在这里还可以使用select_related这个方法.

在第一次查询的时候,在all()后面加上一个select_related来做主动的联表查询.

在创建这两张数据表时,job在UserInfo数据表中是做为一个ForeignKey存在的,所以加上select_related后不仅只查询到了UserInfo数据库的记录,同时也查询了Job数据表中的记录.

 def index(request):
  user_list=models.UserInfo.objects.all().select_related("job")
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
  print("user_list:",user_list)
 
  for user in user_list:
 
   print("%s-->%s-->%s" %(user.username,'index.html')

服务端打印结果

SELECT "app01_userinfo"."id","app01_userinfo"."job_id","app01_job"."id","app01_job"."title" FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>,<UserInfo: UserInfo object>,<UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

查看打印出来的查询语句,其中有

"FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")"

用来做联表查询,只需要一次就可以查询所有的数据了.

同样的,如果还想继续联表,例如在Job表中再加一个外键字段desc,只需要在查询语句中把desc加入进来就可以了

 user_list=models.UserInfo.objects.all().select_related("job__desc")

这样一来就把三张表联系起来做联表查询了,但是一定要确保所加的字段为ForeignKey.

如果使用类似models.UserInfo.objects.all()语句进行查询时,不要做跨表查询,只查询当前表中有的数据,否则查询语句的性能会下降很多.

如果想查其他表中的数据,就加上select_related(ForeignKey字段名);

如果想取多个ForeignKey字段的数据,则可以使用select_related(ForeignKey字段1,ForeignKey字段2,...)

联表查询操作性能也会降低,select_related就是用来做主动联表查询的.

Django数据库优化操作之perfetch_related非主动联表查询

perfetch_related方法是既非主动联表查询,又不进行很多查询语句的一种折衷方案

修改视图函数index

 def index(request):
 
  user_list=models.UserInfo.objects.all().prefetch_related("job")
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
  print("user_list:",'index.html')

后端打印结果

SELECT "app01_userinfo"."id","app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>,<UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

使用prefetch_related方法未联表执行两次查询操作

先查询用户表中的所有数据,把用户表中所有的job_id全部查询出来,并执行去重操作;

结果查询出用户的3种工作,接下来执行"select"语句查询"Job"数据表中的"title"字段

这样一来就只执行了两次数据表的查询操作

在prefetch_related方法中加入一个字段"job",执行了两次数据库查询操作;

如果再加一个字段,则会再多加一次数据为操作操作.

Django数据库优化操作之only方法

 def index(request):
  user_list=models.UserInfo.objects.all().only("username")
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
  print("user_list:",user_list)
 
  for user in user_list:
 
   print("%s-->%s" %(user.username,user.nickname))
 
  return render(request,'index.html')

服务端后台打印信息

SELECT "app01_userinfo"."id","app01_userinfo"."username" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>,<UserInfo: UserInfo object>]>
user1-->user1
user2-->user2
user3-->user3
user4-->user4
user5-->user5
user6-->user6
user7-->user7
user8-->user8
user9-->user9
user10-->user10

执行查询操作的时候加上only方法,其查询结果还是一个对象集合,但是从打印出的查询语句可以看到,执行查询操作时只查询了用户的id字段和username字段,并没有查询nickname字段.

但是在后面的循环中,又可以打印用户的nikename信息.为什么呢,因为又执行了一次查询的请求操作.由此得知,查询操作使用了only方法,在only方法中加入哪个查询字段,在后面就使用哪个查询字段.

加only参数是从查询结果中只取某个字段,而另外一个defer方法则是从查询结果中排除某个字段

Django数据库优化操作之defer方法

修改index视图函数

def index(request):
 user_list=models.UserInfo.objects.all().defer("username")

 print(user_list.query)  # 打印查询时使用的语句
 print(type(user_list))  # 打印查询结果的数据类型
 print("user_list:",user_list)

 for user in user_list:

  print("%s" % user.nickname)

 return render(request,'index.html')

服务端打印信息

SELECT "app01_userinfo"."id",<UserInfo: UserInfo object>]>
user1
user2
user3
user4
user5
user6
user7
user8
user9
user10

通过打印的查询语句可以知道,使用defer方法后,只从数据库中查询了用户的id字段和用户的nickname字段操作,并没有查询username字段,由此也可以提高Django查询数据库的性能.

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对编程小技巧的支持。

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

使用OpenCV实现视频去抖
使用OpenCV实现视频去抖 整体步骤： 设置输入输出视频 寻找帧之间的移动：使用opencv的特征检测器，检测前一帧的特征，并使用Lucas-Kanade光流算法在下一帧跟踪这些特征，根据两组点，将前一个坐标系映射到当前坐标系完成刚性（欧几里得）变换，最后使用数组纪录帧之间的运动。 计算帧之间的平
中文标题相似度检测
前言 对中文标题使用余弦相似度算法和编辑距离相似度分析进行相似度分析。 准备数据集part1 本次使用的数据集来源于前几年的硕士学位论文，可根据实际需要更换。结构如下所示： 学位论文题名 基于卷积神经网络的人脸识别研究 P2P流媒体视频点播系统设计和研究 校园网安全体系的设计与实现 无线传感器网络中
爬取天气信息
前言 之前尝试写过一个爬虫，那时对网页请求还不够熟练，用的原理是：爬取整个html文件，然后根据标签页筛选有效信息。 现在看来这种方式无疑是吃力不讨好，因此现在重新写了一个爬取天气的程序。 准备工作 网上能轻松找到的是 101010100 北京这种编号，而查看中国气象局URL，他们使用的是北京545
模式识别实验：基于主成分分析（PCA）的人脸识别
前言 本文使用Python实现了PCA算法，并使用ORL人脸数据集进行了测试并输出特征脸，简单实现了人脸识别的功能。 1. 准备 ORL人脸数据集共包含40个不同人的400张图像，是在1992年4月至1994年4月期间由英国剑桥的Olivetti研究实验室创建。此数据集包含40个类，每个类含10张图
基于OpenCV-Python的图像位置校正和版面分析
前言 使用opencv对图像进行操作，要求：（1）定位银行票据的四条边，然后旋正。（2）根据版面分析，分割出小写金额区域。 图像校正 首先是对图像的校正 读取图片 对图片二值化 进行边缘检测 对边缘的进行霍夫曼变换 将变换结果从极坐标空间投影到笛卡尔坐标得到倾斜角 根据倾斜角对主体校正 import
Python 天气爬虫接口
天气预报API 功能 从中国天气网抓取数据返回1-7天的天气数据，包括： 日期 天气 温度 风力 风向 def get_weather(city): 入参： 城市名，type为字符串，如西安、北京，因为数据引用中国气象网，因此只支持中国城市 返回： 1、列表，包括1-7的天气数据，每一天的分别为一个
数据分析（以kaggle上的加州房价为例）
数据来源：House Prices - Advanced Regression Techniques 参考文献： Comprehensive data exploration with Python 1. 导入数据 import pandas as pd import warnings warnin
Python关键字 asynico
同步和异步 同步和异步是指程序的执行方式。在同步执行中，程序会按顺序一个接一个地执行任务，直到当前任务完成。而在异步执行中，程序会在等待当前任务完成的同时，执行其他任务。 同步执行意味着程序会阻塞，等待任务完成，而异步执行则意味着程序不会阻塞，可以同时执行多个任务。 同步和异步的选择取决于你的程序需
《原神》那维莱特自动旋转的Python脚本
实现代码 import time import pydirectinput import keyboard if __name__ == &#39;__main__&#39;: revolve = False while True: time.sleep(0.1) if keyboard.is_pr
vi编辑器保存退出命令
本文从多个角度分析了vi编辑器保存退出命令。我们介绍了保存和退出vi编辑器的命令，以及如何撤销更改、移动光标、查找和替换文本等实用命令。希望这些技巧能帮助你更好地使用vi编辑器。
python回车换行
Python中的回车和换行是计算机中文本处理中的两个重要概念，它们在代码编写中扮演着非常重要的角色。本文从多个角度分析了Python中的回车和换行，包括回车和换行的概念、使用方法、使用场景和注意事项。通过本文的介绍，读者可以更好地理解和掌握Python中的回车和换行，从而编写出更加高效和规范的Python代码。
sqlserver启动不了错误1067
SQL Server启动不了错误1067是一种比较常见的故障，主要原因是数据库服务启动失败、权限不足和数据库文件损坏等。要解决这个问题，我们需要检查服务日志、重启服务器、检查文件权限和恢复数据库文件等。在日常的数据库运维工作中，我们应该时刻关注数据库的运行状况，及时发现并解决问题，以确保数据库的正常运行。
信息模块是如何端接的
信息模块是一种可重复使用的、可编程的、可扩展的、可维护的、可测试的、可重构的软件组件。信息模块的端接需要从接口设计、数据格式、消息传递、函数调用等方面进行考虑。信息模块的端接需要满足高内聚、低耦合的原则，以保证系统的可扩展性和可维护性。
win10启动不了pycharm
本文从电脑配置、PyCharm版本、Java版本、配置文件以及程序冲突等多个角度分析了Win10启动不了PyCharm的可能原因，并提供了解决方法。
安装sql2012时出现以下错误
本文主要从多个角度分析了安装SQL Server 2012时可能出现的错误，并提供了解决方法。
pycharm如何设置解释器
Pycharm是一款非常优秀的Python集成开发环境，它可以让Python开发者更加高效地进行代码编写、调试和测试。在Pycharm中设置解释器非常简单，我们可以通过创建新项目、修改项目解释器、设置全局解释器等多种方式进行设置。
python str转int
Python中有多种方法可以将字符串转换为整数，包括使用int()函数、try-except语句、正则表达式、map()函数、ord()函数和reduce()函数。在实际应用中，应根据具体情况选择最合适的方法。
导入csv文件
本文介绍了导入CSV文件的多种方法，包括使用Excel、Python和R等工具。同时，还介绍了导入CSV文件时需要注意的一些细节和问题。CSV文件是数据处理和分析中不可或缺的一部分，希望本文能够对读者有所帮助。
数据库mongodb
mongodb是一种新型的数据库，它采用了面向文档的数据模型，具有灵活性、高性能和高可用性等优势。但是，mongodb也存在数据结构混乱、安全性和学习成本高等问题。
python运行不了怎么办
当Python运行不了时，我们应该从代码、Python环境、操作系统和硬件设备等多个角度来排查问题，并采取相应的解决措施。
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot