如何解决如何读取文本文件中的网址列表,并将所有响应保存到一个文本文件中?
我在文本文件中有一个URL列表。我想将文本文件中的网址输入到我的代码脚本中,而不是将每个网址粘贴到脚本中,但不确定如何这样做。我也想将所有回复保存到一个文本文件中。谢谢
import requests
from datetime import datetime
def run():
url = "https://en.wikipedia.org/wiki/NBA"
payload = {}
headers= {}
response = requests.request("POST",url,headers=headers,data = payload)
print(response.text)
startTime = datetime.now()
run()
print(datetime.now() - startTime)
文件:Wiki.text
https://en.wikipedia.org/wiki/NBA
https://en.wikipedia.org/wiki/NFL
https://en.wikipedia.org/wiki/MLB
https://en.wikipedia.org/wiki/NHL
解决方法
您可以执行以下操作:
import requests
list_of_pages = open('list_of_links.txt','r+')
save = open('output.txt','a+')
save.truncate(0)
for page_link in list_of_pages:
url = page_link
payload = {}
headers = {}
response = requests.request("POST",url,headers=headers,data=payload)
save.write(str(response) + "\n")
,
尝试此操作,它返回Wiki.txt
中每个页面的代码以及获取它所花费的时间:
import requests
from datetime import datetime
def run():
links_file = open('Wiki.txt','r')
outputs_file = open('outputs.txt','a')
for link in links_file.readlines(): # run for ever line in file
payload = {}
headers = {}
response = requests.request("POST",link,data=payload)
outputs_file.write(response.text + '\n')
links_file.close()
outputs_file.close()
startTime = datetime.now()
run()
print(datetime.now() - startTime)
基本上,您要做的就是添加一个针对文件中每一行运行的循环,并将结果代码添加到另一个文本文件中。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。