如何解决Web Scraping Amazon “查看更多购买选项” Node Cheerio Puppeteer
我正在尝试通过网络抓取亚马逊的 GPU 价格（多么原始！）。我是一名小学老师，正在尝试一个有趣的初学者节点项目来获取亚马逊上的价格。
我在抓取时发现了三个选项...可用 添加到购物车、查看其他购买选项，目前不可用。
我已经能够通过检查长度来查看“添加到购物车”按钮是否存在，并且可以抓取价格以查看我是否愿意支付，然后提醒我。但是，在检查其他购买选项时，我可以进入侧窗格，但我无法抓取其他购买选项的价格，因为cheerio 看不到特定 ID。每个“购买选项”div 都有一个 ID="#aod-offer"，但即使查看它是否存在，它也会返回 0，即使我在检查器中清楚地看到它。我一直在至少有 1 个购买选项的页面上练习。不知道为什么它没有抓取任何数据。
//Scrapes amazon pages
async function CheckAvailability(page){
//for(var i = 0; i < items.length; i++){}
await page.goto(items[1].url);
const html = await page.content();
const $ = cheerio.load(html);
//If add to cart button is present
if($("#add-to-cart-button").length > 0){
//Check price of item
const priceStr = $("#price_inside_buybox").text().replace("$","");
const price = Number(priceStr);
console.log(priceStr);
console.log(price);
//Check price against what you are willing to spend
if(checkPrice(price)){
console.log("You are willing to buy this item");
}else{
console.log("The price is too rich for your blood!");
}
// Check if there are other sellers
}else if ($("#unqualifiedBuyBox").length > 0){
console.log("There might be others");
await page.$eval("a[title ='See All Buying Options']",elem => elem.click());
await page.waitFor(2000);
const offers = [];
const offerListings = $("#aod-offer").each((i,e) => {
offers[i] = $(e).html();
});
console.log(offers);
// Currently unavailable is displayed
}else if ($("#outOfStock").length > 0){
console.log("There are none available,moving on...");
}
}
//Checks a price against what I'm willing to spend. Lowered the number for testing. I know I cannot
get a gpu for $200
function checkPrice(price){
if (price < 200){
return true;
}else{
return false;
}
}
解决方法
我知道我的代码可能非常基础，但是我将 const $ 更改为 Let $ 并在 else if 部分使用新的 HTML 数据重新加载了cheerio，并且它起作用了。我认为因为我在同一页面上，所以我的cheerio 不必更新，但显然更新了。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。