如何解决为什么这个简单的网络抓取失败了?
我正在用一个非常简单的代码片段测试HtmlAgilityPack,但是它仍然失败,我不知道为什么
var html2 = @"http://www.monki.com/en_sek/newin/view-all-new.html";
HtmlWeb web2 = new HtmlWeb();
var htmldoc2 = web2.Load(html2);
var node2 = htmldoc2.DocumentNode.SelectSingleNode("//head/title");
Console.WriteLine("\n\n\n\n");
Console.WriteLine("Node Name2: " + node2.Name + "\n" + node2.OuterHtml + "\n" + node2.InnerText);
我当然检查过页面上的标题和标题,但是node2仍然为空,我无法弄清楚为什么。
解决方法
好像网页正在尝试设置cookie。另请参见this answer with the same problem
var loader = new HtmlWeb{ UseCookies = true };
var doc = loader.Load(@"http://www.monki.com/en_sek/newin/view-all-new.html");
var node2 = doc.DocumentNode.SelectSingleNode("//head/title");
Console.WriteLine("\n\n\n\n");
Console.WriteLine("Node Name2: " + node2.Name + "\n" + node2.OuterHtml + "\n" + node2.InnerText);
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。