如何解决通过管道将抓取的物品发送到我的后端
我刚到Scrapy的世界,使用http发布请求将商品发送到后端端点时遇到一些问题 目前,我的流线型管道将项目导出到json文件,但是我想要的是将此json发送到我的后端端点。 我该怎么做? 这是我的JSON管道:
class TestJSON:
def __init__(self):
self.json = []
def open_spider(self,spider):
self.file = open('test-content.json','w')
self.file.write('[')
def close_spider(self,spider):
self.file.write(']')
self.file.close()
def process_item(self,item,spider):
line = json.dumps(ItemAdapter(item).asdict()) + ","
self.file.write(line)
self.json.append(ItemAdapter(item))
return item
def __del__(self):
yield scrapy.Request('myEndPoint',method='POST',body=json.dumps(self.json),headers={'Content-Type': 'application/json'})
非常感谢您
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。