正则表达式相关：C# 抓取网页类获取网页中所有信息

分类：正则表达式作者：编程之家用户
  1. usingSystem;
  2. usingSystem.Data;
  3. usingSystem.Configuration;
  4. usingSystem.Net;
  5. usingSystem.IO;
  6. usingSystem.Text;
  7. usingSystem.Collections.Generic;
  8. usingSystem.Text.RegularExpressions;
  9. usingSystem.Threading;
  10. usingSystem.Web;
  11. usingSystem.Web.UI.MobileControls;
  12. ///<summary>
  13. ///网页类
  14. ///</summary>
  15. publicclassWebPage
  16. {
  17. #region私有成员
  18. privateUrim_uri;//url
  19. privateList<Link>m_links;//此网页上的链接
  20. privatestringm_title;//标题
  21. privatestringm_html;//HTML代码
  22. privatestringm_outstr;//网页可输出的纯文本
  23. privateboolm_good;//网页是否可用
  24. privateintm_pagesize;//网页的大小
  25. privatestaticDictionary<string,CookieContainer>webcookies=newDictionary<string,CookieContainer>();//存放所有网页的Cookie
  27. #endregion
  28. #region属性
  30. ///<summary>
  31. ///通过此属性可获得本网页的网址，只读
  32. ///</summary>
  33. publicstringURL
  34. {
  35. get
  36. returnm_uri.AbsoluteUri;
  37. }
  38. }
  40. ///通过此属性可获得本网页的标题，只读
  41. publicstringTitle
  42. get
  43. if(m_title=="")
  44. Regexreg=newRegex(@"(?m)<title[^>]*>(?<title>(?:\w|\W)*?)</title[^>]*>",RegexOptions.Multiline|RegexOptions.IgnoreCase);
  45. Matchmc=reg.Match(m_html);
  46. if(mc.Success)
  47. m_title=mc.Groups["title"].Value.Trim();
  48. returnm_title;
  49. publicstringM_html
  50. if(m_html==null)
  51. m_html="";
  52. returnm_html;
  53. ///此属性获得本网页的所有链接信息，只读
  54. publicList<Link>Links
  55. if(m_links.Count==0)getLinks();
  56. returnm_links;
  57. ///此属性返回本网页的全部纯文本信息，只读
  58. publicstringContext
  59. if(m_outstr=="")getContext(Int16.MaxValue);
  60. returnm_outstr;
  61. ///此属性获得本网页的大小
  62. publicintPageSize
  63. returnm_pagesize;
  64. ///此属性获得本网页的所有站内链接
  65. publicList<Link>InsiteLinks
  66. returngetSpecialLinksByUrl("^http://"+m_uri.Host,Int16.MaxValue);
  67. ///此属性表示本网页是否可用
  68. publicboolIsGood
  69. returnm_good;
  70. ///此属性表示网页的所在的网站
  71. publicstringHost
  72. returnm_uri.Host;
  73. #endregion
  74. ///从HTML代码中分析出链接信息
  75. ///<returns>List<Link></returns>
  76. privateList<Link>getLinks()
  77. if(m_links.Count==0)
  78. Regex[]regex=newRegex[2];
  79. regex[0]=newRegex(@"<a\shref\s*=""(?<URL>[^""]*).*?>(?<title>[^<]*)</a>",RegexOptions.IgnoreCase|RegexOptions.Singleline);
  80. regex[1]=newRegex("<[i]*frame[^><]+src=(\"|')?(?<url>([^>\"'\\s)])+)(\"|')?[^>]*>",RegexOptions.IgnoreCase);
  81. for(inti=0;i<2;i++)
  82. Matchmatch=regex[i].Match(m_html);
  83. while(match.Success)
  84. try
  85. stringurl=HttpUtility.UrlDecode(newUri(m_uri,match.Groups["URL"].Value).AbsoluteUri);
  86. stringtext="";
  87. if(i==0)text=newRegex("(<[^>]+>)|(\\s)|()|&|\"",RegexOptions.Multiline|RegexOptions.IgnoreCase).Replace(match.Groups["text"].Value,"");
  88. Linklink=newLink();
  89. link.Text=text;
  90. link.NavigateUrl=url;
  91. m_links.Add(link);
  92. catch(Exceptionex){Console.WriteLine(ex.Message);};
  93. match=match.NextMatch();
  94. ///此私有方法从一段HTML文本中提取出一定字数的纯文本
  95. ///<paramname="instr">HTML代码</param>
  96. ///<paramname="firstN">提取从头数多少个字</param>
  97. ///<paramname="withLink">是否要链接里面的字</param>
  98. ///<returns>纯文本</returns>
  99. privatestringgetFirstNchar(stringinstr,intfirstN,boolwithLink)
  100. if(m_outstr=="")
  101. m_outstr=instr.Clone()asstring;
  102. m_outstr=newRegex(@"(?m)<script[^>]*>(\w|\W)*?</script[^>]*>",RegexOptions.Multiline|RegexOptions.IgnoreCase).Replace(m_outstr,"");
  103. m_outstr=newRegex(@"(?m)<style[^>]*>(\w|\W)*?</style[^>]*>",85); line-height:18px"> m_outstr=newRegex(@"(?m)<select[^>]*>(\w|\W)*?</select[^>]*>",153); list-style:decimal-leading-zero outside; color:inherit; line-height:18px"> if(!withLink)m_outstr=newRegex(@"(?m)<a[^>]*>(\w|\W)*?</a[^>]*>",85); line-height:18px"> RegexobjReg=newSystem.Text.RegularExpressions.Regex("(<[^>]+?>)|",RegexOptions.Multiline|RegexOptions.IgnoreCase);
  104. m_outstr=objReg.Replace(m_outstr,"");
  105. RegexobjReg2=newSystem.Text.RegularExpressions.Regex("(\\s)+",153); list-style:decimal-leading-zero outside; color:inherit; line-height:18px"> m_outstr=objReg2.Replace(m_outstr,85); line-height:18px"> returnm_outstr.Length>firstN?m_outstr.Substring(0,firstN):m_outstr;
  107. #region公有文法
  108. ///此公有方法提取网页中一定字数的纯文本，包括链接文字
  109. ///<paramname="firstN">字数</param>
  110. ///<returns></returns>
  111. publicstringgetContext(intfirstN)
  112. returngetFirstNchar(m_html,firstN,true);
  113. ///此公有方法从本网页的链接中提取一定数量的链接，该链接的URL满足某正则式
  114. ///<paramname="pattern">正则式</param>
  115. ///<paramname="count">返回的链接的个数</param>
  116. publicList<Link>getSpecialLinksByUrl(stringpattern,intcount)
  117. List<Link>SpecialLinks=newList<Link>();
  118. List<Link>.Enumeratori;
  119. i=m_links.GetEnumerator();
  120. intcnt=0;
  121. while(i.MoveNext()&&cnt<count)
  122. if(newRegex(pattern,RegexOptions.Multiline|RegexOptions.IgnoreCase).Match(i.Current.NavigateUrl).Success)
  123. SpecialLinks.Add(i.Current);
  124. cnt++;
  125. returnSpecialLinks;
  126. ///此公有方法从本网页的链接中提取一定数量的链接，该链接的文字满足某正则式
  127. publicList<Link>getSpecialLinksByText(stringpattern,RegexOptions.Multiline|RegexOptions.IgnoreCase).Match(i.Current.Text).Success)
  128. ///这公有方法提取本网页的纯文本中满足某正则式的文字
  129. ///<returns>返回文字</returns>
  130. publicstringgetSpecialWords(stringpattern)
  131. Regexregex=newRegex(pattern,85); line-height:18px"> Matchmc=regex.Match(m_outstr);
  132. returnmc.Groups[1].Value;
  133. returnstring.Empty;
  134. #region构造函数
  135. privatevoidInit(string_url)
  136. try
  137. m_uri=newUri(_url);
  138. m_links=newList<Link>();
  139. m_outstr="";
  140. m_title="";
  141. m_good=true;
  142. if(_url.EndsWith(".rar")||_url.EndsWith(".dat")||_url.EndsWith(".msi"))
  143. m_good=false;
  144. return;
  145. HttpWebRequestrqst=(HttpWebRequest)WebRequest.Create(m_uri);
  146. rqst.AllowAutoRedirect=true;
  147. rqst.MaximumAutomaticRedirections=3;
  148. rqst.UserAgent="Mozilla/4.0(compatible;MSIE5.01;WindowsNT5.0)";
  149. rqst.KeepAlive=true;
  150. rqst.Timeout=10000;
  151. lock(WebPage.webcookies)
  152. if(WebPage.webcookies.ContainsKey(m_uri.Host))
  153. rqst.CookieContainer=WebPage.webcookies[m_uri.Host];
  154. else
  155. CookieContainercc=newCookieContainer();
  156. WebPage.webcookies[m_uri.Host]=cc;
  157. rqst.CookieContainer=cc;
  158. HttpWebResponsersps=(HttpWebResponse)rqst.GetResponse();
  159. Streamsm=rsps.GetResponseStream();
  160. if(!rsps.ContentType.ToLower().StartsWith("text/")||rsps.ContentLength>1<<22)
  161. rsps.Close();
  162. m_good=false;
  163. return;
  164. Encodingcding=System.Text.Encoding.Default;
  165. stringcontenttype=rsps.ContentType.ToLower();
  166. intix=contenttype.IndexOf("charset=");
  167. if(ix!=-1)
  168. cding=System.Text.Encoding.GetEncoding(rsps.ContentType.Substring(ix+"charset".Length+1));
  169. catch
  170. cding=Encoding.Default;
  171. //该处视情况而定有的需要解码
  172. //m_html=HttpUtility.HtmlDecode(newStreamReader(sm,cding).ReadToEnd());
  173. m_html=newStreamReader(sm,cding).ReadToEnd();
  174. //该处视情况而定有的需要解码
  176. Regexregex=newRegex("charset=(?<cding>[^=]+)?\"",RegexOptions.IgnoreCase);
  177. stringstrcding=regex.Match(m_html).Groups["cding"].Value;
  178. cding=Encoding.GetEncoding(strcding);
  179. byte[]bytes=Encoding.Default.GetBytes(m_html.ToCharArray());
  180. m_html=cding.GetString(bytes);
  181. if(m_html.Split('?').Length>100)
  182. m_html=Encoding.Default.GetString(bytes);
  183. m_pagesize=m_html.Length;
  184. m_uri=rsps.ResponseUri;
  185. catch(Exceptionex)
  186. publicWebPage(string_url)
  187. stringuurl="";
  188. uurl=Uri.UnescapeDataString(_url);
  189. _url=uurl;
  190. catch{};
  191. Init(_url);
  192. }

调用

[csharp] view plain copy
print ?
    WebPagewebInfo=newWebPage("网址");
  1. webInfo.Context;//不包含html标签的所有内容
  2. webInfo.M_html;//包含html标签的内容
  3. ...参考属性

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

jquery.validate使用攻略（表单校验）
jquery.validate使用攻略（表单校验） 目录 jquery.validate使用攻略1 第一章&#160;jquery.validate使用攻略1 第二章&#160;jQuery.validate.js API7 Custom selectors7 Utilities8 Validato
清空字符串的空格（正则表达式）
/\s+/g和/\s/g的区别 正则表达式/\s+/g和/\s/g，目的均是找出目标字符串中的所有空白字符，但两者到底有什么区别呢？ 我们先来看下面一个例子： let name = &#39;ye wen jun&#39;;let ans = name.replace(/\s/g, &#39;&#3
自整理几个jquery.Validate验证正则
自整理几个jquery.Validate验证正则： 1. 只能输入数字和字母 /^[0-9a-zA-Z]*$/g jQuery.validator.addMethod(&quot;letters&quot;, function (value, element) { return this.optio
this.optional(element)的用法
this.optional(element)的用法 this.optional(element)是jquery.validator.js表单验证框架中的一个函数，用于表单控件的值不为空时才触发验证。 简单来说，就是当表单控件值为空的时候不会进行表单校验，此函数会返回true，表示校验通过，当表单控件
jQuery.validate 表单动态验证
jQuery.validate 表单动态验证 实际上jQuery.validate提供了动态校验的方法。而动态拼JSON串的方式是不支持动态校验的。牺牲jQuery.validate的性能优化可以实现(jQuery.validate的性能优化见图1.2 jQuery.validate源码 )。 也可
自定义验证之这能输入数字(包括小数 负数 )
自定义验证之这能输入数字(包括小数 负数 ) &lt;script type=&quot;text/javascript&quot;&gt; function onlyNumber(obj){ //得到第一个字符是否为负号 var t = obj.value.charAt(0); //先把非数字的都
validator.js——引入外部验证规则
// 引入了外部的验证规则 import { validateAccountNumber } from &quot;@/utils/validate&quot;; validator.js /*是否合法IP地址*/ export function validateIP(rule, value,cal
VUE开发--表单验证——正则
VUE开发--表单验证(六十三) 一、常用验证方式 vue 中表单字段验证的写法和方式有多种，常用的验证方式有3种： data 中验证 表单内容： &lt;!-- 表单 --&gt; &lt;el-form ref=&quot;rulesForm&quot; :rules=&quot;formRul
正则表达式—含座机的
正则表达式 座机的： 例子： 座机有效写法: 0316-8418331 (010)-67433539 (010)67433539 010-67433539 (0316)-8418331 (0316)8418331 正则表达式写法 0\d{2,3}-\d{7,8}|\(?0\d{2,3}[)-]?\d
js校验输入0-1之间的小数,最多保留小数点后两位
var reg = /^0\.[1-9]{0,2}$/;var linka = 0.1;console.log (reg.test (linka)); 0到1两位小数正则 ^(0\.(0[1-9]|[1-9]{1,2}|[1-9]0)$)|^1$ 不含0、0.0、0.00 // 验证是否是[1-10
input最大长度限制问题
input最大长度限制问题 &lt;input type=&quot;text&quot; maxlength=&quot;5&quot; /&gt; //可以 &lt;input type=&quot;number&quot; maxlength=&quot;5&quot; /&gt; //没有效
js输入验证是否为空、是否为null、是否都是空格—去掉所有空格
js输入验证是否为空、是否为null、是否都是空格 目录 1.截头去尾 trim 2.截头去尾 会去掉开始和结束的空格，类似于trim 3.会去掉所有的空格，包括开始，结束，中间 1.截头去尾 trim str=str.trim(); // 强烈推荐 最常用、最实用 or $.trim(str);
正则表达式语法大全以及match、search、replace、test的各自作用
正则表达式语法大全 字符串.match(正则)：返回符合的字符串，若不满足返回null 字符串.search(正则)：返回搜索到的位置，若非一个字符，则返回第一个字母的下标，若不匹配则返回-1 字符串.replace(正则,新的字符串)：找到符合正则的内容并替换 正则.test(字符串)：在字符串中
正整数正则表达式
正整数正则表达式正数的正则表达式(包括0，小数保留两位)： ^((0{1}.\d{1,2})|([1-9]\d.{1}\d{1,2})|([1-9]+\d)|0)$正数的正则表达式(不包括0，小数保留两位)： ^((0{1}.\d{1,2})|([1-9]\d.{1}\d{1,2})|([1-9]+
JS 正则验证 test()
JS 正则验证 test() /*用途：检查输入手机号码是否正确输入：s：字符串返回：如果通过验证返回true,否则返回false /function checkMobile(s){var regu =/[1][3][0-9]{9}$/;var re = new RegExp(regu);if (r
常用正则
请输入保留两位小数的销售价的正则： /(^[1-9]([0-9]+)?(\.[0-9]{1,2})?$)|(^(0){1}$)|(^[0-9]\.[0-9]([0-9])?$)/ 1.只能输入英文 &lt;input type=&quot;text&quot; onkeyup=&quot;value
判断价格的正则表达式
判断价格的正则表达式 价格的正则表达式 /(^[1-9]\d*(\.\d{1,2})?$)|(^0(\.\d{1,2})?$)/; 1 解析：价格符合两种格式 ^ [1-9]\d*(.\d{1,2})?$ ： 1-9 开头，后跟是 0-9，可以跟小数点，但小数点后要带上 1-2 位小数，类似 2,2
最实用的正则表达式整理
文章浏览阅读106次。这篇文章主要介绍了最实用的正则表达式整理,比如校验邮箱的正则，号码相关，数字相关等等，本文给大家列举的比较多，需要的朋友可以参考下。_/^(?:[1-9]d*)$/ 手机号
正则表达式总结，正则表达式匹配不包含某个字符串
文章浏览阅读1.2k次。4、匹配中的==、an==、== an9、i9 == "9i"和99p==请注意下面这部分的作用，它在匹配中间内容的时候排除了说明：当html字符串如下时，可以匹配到两处，表示匹配的字符串不包含and且不包含空白字符。说明：在上面的正则表达式中，_gvim正则表达式匹配不包含某个字符串
正则表达式匹配a标签的href
文章浏览阅读897次。【代码】正则表达式匹配a标签的href。_auto.js 正则匹配herf
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot