如何解决如何将项目文件中的项目写入csv,然后在每次我运行程序后附加csv文件
我想创建一个csv文件,用Items文件中的项目填充它,并在以后每次运行该程序时向csv文件添加新数据。我的目标是在设置好之后使用cron定期运行它。
import scrapy
import json
from ..items import AnotherddItem
import datetime
import csv
class AnotherddSpider(scrapy.Spider):
name = 'ddgrab'
allowed_domains = ['example.com']
start_urls = ['https://www.example.com/all?source=private']
csv_columns=['timestamp','sellerId','sellerName','adUrl']
dict_data = [timestamp,sellerId,sellerName,adUrl]
csv_file = 'test.csv'
with open(csv_file,'w') as csvfile:
writer = csv.DictWriter(csvfile,fieldnames=csv_columns)
writer.writeheader()
for data in dict_data:
writer.writerow(data)
dict_data包含我的items.py文件中的所有字段。我知道我在这里所做的事情是错误的,因为尚未定义dict_data字段,但我不知道如何访问它们。
解决方法
如果您确实想将数据追加到文件中,则需要创建一个自定义pipeline,该命令将检查输出文件是否已存在并写入 header 行如果需要的话。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。