如何解决多线程刮板中的Django模型
我正在使用Django模型来存储抓取的数据。由于网站响应缓慢,因此抓取工具是多线程的,抓取间隔大约为每2或3或10分钟。问题是数据库连接保持空闲状态,一段时间后我遇到了OperationalError。谷歌搜索之后,无论在何处进行数据库交互,我都使用{{1}}中的connections.close()。它起作用了,但是几天了,然后在其中一个刮板中,我再次收到OperationalError,说连接已被管理员关闭。我使用管理命令计划了刮板,并使用了计划包。我正在使用PostgreSQL作为数据库。请告诉我解决方案。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。