如何解决为什么我没有收到来自start_requests的回复?
我正在使用start_requests抓取从sqlite数据库获取的URL列表。 但是当我运行代码时,我没有得到任何回应。
这是代码-
import scrapy
import sqlite3
from datetime import datetime,timedelta
import json
class A1hrlaterSpider(scrapy.Spider):
name = 'onehrlater'
def start_requests(self):
timenow = datetime.now()
delta = timedelta(minutes=0)
delta2 = timedelta(minutes=1)
past_time = timenow - delta
past_time2 = timenow - delta2
conn = sqlite3.connect('ddother.db')
c = conn.cursor()
c.execute("SELECT adUrl FROM database WHERE timestamp BETWEEN ? AND ?",(past_time2,past_time))
all_urls = c.fetchall()
urls = [item[0] for item in all_urls]
for url in urls:
yield scrapy.Request(url=url,callback=self.parse)
def parse(self,response):
r = response.xpath('//script[contains(text(),"adDetails")]').get()
print(r)
任何帮助将不胜感激。谢谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。