Django3 个人开发笔记
查询函数
select_related 内连接
在 Django ORM 中,select_related 是一个查询性能优化工具,用于解决关联对象的查询效率问题。当你有两个通过外键(ForeignKey)或一对一字段(OneToOneField)连接的模型时,通常需要分别查询每个对象。
假设有两个模型 Author 和 Book,其中 Book 模型有一个外键指向 Author。如果你要获取所有书籍以及它们的作者信息,不使用 select_related 的话,默认情况下 Django 会为每本书生成单独的数据库查询去获取作者信息。这就造成了"N+1"查询问题 —— 对于 N 本书,你将得到 N+1 次数据库查询(1次查询所有书籍,N次分别查询每本书的作者)。
使用 select_related 则可以避免这个问题,它会通过 SQL 的 JOIN 语句一次性从相关联的表中预先获取数据,转换成你需要的对象。这样,无论你查询多少本书,只需要一次数据库查询就可以同时获取所有书籍和相应的作者信息。
以下是一个简单的示例,展示了没有使用和使用 select_related 的区别:
没有使用 select_related:
books = Book.objects.all() for book in books: print(book.title, book.author.name) # 这里每次循环都会产生一个新的数据库查询来获取 author
使用 select_related:
books = Book.objects.select_related('author').all() # 使用 JOIN 语句提前获取所有作者信息 for book in books: print(book.title, book.author.name) # 不会产生额外的数据库查询
在上述使用 select_related 的例子中,Django 会生成一个更复杂的 SQL 查询,但总体上减少了数据库的访问次数,从而优化了性能。此方法适用于“贪婪加载”关联数据的场景,特别是当你知道你需要关联数据并且想减少数据库查询的数量时。
select_related 相当于 SQL 语言中的 JOIN 操作,特别是 INNER JOIN。当你在 Django ORM 中使用 select_related 方法时,它会生成一个包含 JOIN 子句的 SQL 查询,这个子句将主表(如 Book)和相关联的表(如 Author)连接起来,从而一次查询就能获取所有必要的数据。
例如,如果我们有以下两个模型:
class Author(models.Model): name = models.CharField(max_length=100) class Book(models.Model): title = models.CharField(max_length=100) author = models.ForeignKey(Author, on_delete=models.CASCADE)
使用 select_related 的 Django 查询:
books = Book.objects.select_related('author').all()
这将生成类似如下的 SQL 语句:
SELECT book.id, book.title, author.id, author.name FROM book INNER JOIN author ON book.author_id = author.id;
在这条 SQL 语句中,INNER JOIN 将 book 表和 author 表连接起来,让你可以通过单个查询同时访问关联的 Book 和 Author 实例的字段。这避免了逐个获取作者信息的额外查询,大幅提高了效率,尤其是在处理大量数据的时候。
prefetch_related 外连接
在Django ORM中,select_related 默认使用 SQL 的 INNER JOIN。如果你需要执行一个 LEFT OUTER JOIN 来包含那些在关联表中没有匹配记录的主表记录,你应该使用 prefetch_related 方法,它通过两个单独的查询来模拟 LEFT OUTER JOIN 的行为,并且在 Python 代码中将它们组合起来。
不过,从Django 1.11版本开始,引入了 QuerySet 的 filter() 方法与 isnull 查找条件相结合的方式来实现类似于 LEFT OUTER JOIN 的查询:
Book.objects.filter(author__isnull=True)
这会生成类似于以下的SQL LEFT OUTER JOIN语句:
SELECT * FROM book LEFT OUTER JOIN author ON book.author_id = author.id WHERE author.id IS NULL;
如果你想要获取所有书籍及其作者,但是保持那些没有作者的书籍在结果集中,你可以如下操作:
from django.db.models import Prefetch author_query = Author.objects.all() books = Book.objects.prefetch_related(Prefetch('author', queryset=author_query))
上述代码首先会执行一次查询获取所有书籍,然后基于书籍中的外键关联的ID再执行第二次查询获取所有作者。在Python层面,Django会将这两个结果合并起来,模拟出 LEFT OUTER JOIN 的效果,并且即使有些书籍没有对应的作者信息,它们也会被包括在结果集中。
在某些情况下,你可以直接使用 annotate 结合 Count 或者 Case 和 When 等条件表达式来构造更复杂的 LEFT OUTER JOIN 类型的查询。
请注意,无论使用 prefetch_related 还是其他方法,Django都会试图以最优化的方式获取你请求的数据,但这些操作与用纯 SQL 直接编写的 LEFT OUTER JOIN 在底层执行上仍然是有差异的。