如何解决如何在Django中创建cron作业以运行脚本来从网站抓取数据并更新PostgreSQL数据库?
因此,我目前正在实现我的第一个基于Django的Web应用程序。但是,我发现我只需要Django执行后端cron作业即可从网站中抓取数据,然后更新PostgreSQL数据库中的现有数据。然后,我仅使用React前端从数据库中检索数据并在网页上将其可视化。
我现在的问题是,我不知道如何从概念上解决这一挑战。当前,我的models.py
文件中有一个模型,可以在PostgreSQL中成功创建空表:
from django.db import models
# Create your models here.
class rainAreas(models.Model):
Country = models.CharField(max_length=100)
HasRain= models.BooleanField()
Since = models.DateField()
class Meta:
app_label = "rain_areas"
我还用伪数据手动填写了表格。最后,我在admin.py
文件中有一个脚本,该脚本成功创建了从网站抓取的所需数据列表。看起来像这样:
my_data = [{"country": "Germany","HasRain": True,"Since": "2020-08-11"},{"country": "France",....
但是现在我被困住了。下一步是什么
- 在创建的表上使用
UPDATE
中的数据创建一个SQLadmin.py
- 将此脚本转换为应每小时运行一次的cron作业
解决方法
基本上有两种选择:
- 尝试使用celery
- 写一个custom admin comand
添加芹菜可能会增加很多复杂性。
如果您选择第二种方法,则必须确保在脚本/ cronjob中使用正确的python环境检查this答案
首先更新条目,然后保存新值
for d in my_data:
rainArea = RainArea.objects.get(country=d['country'])
rainArea.has_rain = d['HasRain']
rainArea.since = datetime.strptime(d['Since'],'%y-%m-%d')
rainArea.save()
请注意,我稍微重构了措词,以更好地遵循pep8:
- 在python类中以大写开头
- django模型是单数命名,而不是复数(
RainArea
) - 属性通常不以大写字母开头
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。