HTML 抓取器 Python 中的类型错误 AttributeError: 'NoneType' 对象没有属性 'get_text'

如何解决HTML 抓取器 Python 中的类型错误 AttributeError: 'NoneType' 对象没有属性 'get_text'

我不断收到 AttributeError: 'NoneType' object has no attribute 'get_text':

converted_price = float(price[1:5]) 我似乎无法找到问题所在。我正在尝试构建一个 HTML 抓取工具，它可以告诉我某个产品何时降到某个值以下的价格。然后我希望它向我发送电子邮件。

import requests
from bs4 import BeautifulSoup
import smtplib

URL = 'https://www.amazon.de/Toilettendeckel-Absenkautomatik-Antibakterieller-Urea-Duroplast-Edelstahlscharnier/dp/B0881PKQ2H/?_encoding=UTF8&smid=AKQL6N75FLK4O&pd_rd_w=hTIPC&pf_rd_p=d051a36d-9331-41c8-9203-e7d634b1ee23&pf_rd_r=3TS01EKWNMYSRC1147X1&pd_rd_r=d950f9b1-8e9a-4913-b266-9b7a36ad21f5&pd_rd_wg=GLsoO&ref_=pd_gw_unk'

headers = {"User-agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/87.0.4280.88 Safari/537.36'}

def check_price():
    page = requests.get(URL,headers=headers)

    soup = BeautifulSoup(page.content,'html.parser')   

    title = soup.find(id="productTitle").get_text()
    price = soup.find(id="priceblock_saleprice").get_text()
    converted_price = float(price[1:5])

    if converted_price < 40.99:
        send_mail()

    print(converted_price)
    print(title.strip())

    if converted_price > 40.99:
        send_mail()

def send_mail():
    server = smtplib.SMTP('smtp.gmail.com',587)
    server.ehlo()
    server.starttls()
    server.ehlo()

    server.login('myemail@gmail.com','MyGoogleAppPassword')

    subject = 'Price fell down!'
    body = 'https://www.amazon.de/Toilettendeckel-Absenkautomatik-Antibakterieller-Urea-Duroplast-Edelstahlscharnier/dp/B0881PKQ2H/?_encoding=UTF8&smid=AKQL6N75FLK4O&pd_rd_w=hTIPC&pf_rd_p=d051a36d-9331-41c8-9203-e7d634b1ee23&pf_rd_r=3TS01EKWNMYSRC1147X1&pd_rd_r=d950f9b1-8e9a-4913-b266-9b7a36ad21f5&pd_rd_wg=GLsoO&ref_=pd_gw_unk'

    msg = f"Subject: {subject}\n\n{body}"

    server.sendmail(
        'example@mail.com','anotherexample@mail.com',msg
    )
    print('Email has been sent!')

    server.quit()


check_price()

解决方法

错误检查

您确实应该检查 None 结果，请参阅 beautiful documentation of find()

如果 find() 找不到任何东西，则返回 None

None 本身表示没有值。因此它也没有属性。在 python 控制台中尝试 None.get_text() 以获得与您的问题完全相同的消息。

关于直接访问期望的 HTML 输出中的元素，请查看大图！使用 print(soup)，如果您将其重定向到 HTML 文件，输出将更易于阅读。 Firefox 会这样呈现：

机器人上的亚马逊

我们看到，在上面的情况下，亚马逊似乎不太难检测到访问不是由人完成的（可能是由于您或 StackOverflow 上的人试图重建您的问题的大量连续尝试造成的）它会做出相应的反应。

在源代码中，您会发现一条信息丰富的注释（稍微重新格式化）：

要讨论对亚马逊数据的自动访问，请联系 api-services-support@amazon.com。有关迁移到我们的 API 的信息，请参阅我们的市场 API，网址为 https://developer.amazonservices.de/ref=rm_c_sv，或我们的产品广告 API，网址为 https://partnernet.amazon.de/gp/advertising/api/detail/main.html/ref=rm_c_ac 用于广告用例。

教程注意事项

您提到的视频教程 (Build A Python App That Tracks Amazon Prices!) 有很多有趣的评论，说明什么“有效”以及如何更改“无效”。不难理解本教程的质量是不稳定的，这是因为可疑的请求（相同的页面、相同的 IP、相同的用户客户端签名）可以触发反措施以防止 {{3 }}。

您也应该考虑寻找更好的教程。我建议 DoS attacks 从第一件事开始。 Corey Schafer 不仅是他所教内容的专家，他的大部分视频也非常集中和密集，因此事实证明，将手指放在空格键附近对我很有用。

这与最初提出的问题有关。在对该问题进行多次实质性编辑后，它不再相关。

上面的行应该改为：

price = soup.find(id="priceblock_saleprice").get_text()

您刚刚忘记了 get_text 末尾的括号