我正在开发一款应用程序,它可以为Google 1,Facebook和Twitter推出一个网站.我有一个请求方法接受一个URL,然后关闭并获取每个社交媒体类型的计数.
它的逻辑如下: –
>获取网址
>在我们获得速率限制/非500响应之前,通过本地/默认IP进行请求
>出错
>调用SelectNewProxy()迭代代理列表并随机返回一个尝试(避免IP请求限制的好方法)
>从列表中删除不良代理以避免再次选择它
>启动一个每秒递增一次的计时器
>当计时器== 600(10分钟)
>创建新的WebProxy并再次尝试本地/默认IP后面的请求
>重置计时器
冲洗并重复
代码如下:
public string Request(string action) { HttpWebRequest req; OnStatusChange(new MyArgs() { Message = "Status: Requesting..." }); string response = string.Empty; while (response.Equals(string.Empty) && proxy != null) { try { req = (HttpWebRequest)WebRequest.Create(action); req.Proxy = proxy; HandleUIMessages(action,proxy); response = new StreamReader(req.GetResponse().GetResponseStream()).ReadToEnd(); } catch { //OnProxyChange(new MyArgs() { ProxyMessage = string.Format("Proxy: {0}",proxy.Address.ToString()) }); RemoveProxy(proxy); if (!timer.Enabled) { timer.Interval = (int)TimeInterval.OneSecond; timer.Elapsed += new System.Timers.ElapsedEventHandler(timer_Elapsed); timer.Enabled = true; timer.Start(); } WebProxy reset = new SelectNewProxy(); proxy = counter >= 600 ? reset : proxy = SelectNewProxy(); } } return response; }
值得一提的是我正在使用ThreadPool并且每个请求都在它自己的线程中运行.看起来它会工作,但我没有得到预期的效果,计数器达到’600’并设置proxy = reset但它似乎只是非常简短,可能只有第一个线程击中它?然后调用timer_Elapsed并重置计数器.可能是一个线程正在命中它,分配proxy = reset然后因为计数器现在已经被重置(不再是> = 600),所有后续排队的线程调用SelectNewProxy()?感觉我在漫无目的,但希望有人可以理解我想说的话,如果我猜对了,我怎么能确保所有线程都得到代理=重置并重试我们的初始IP?
任何帮助深表感谢!
谢谢
解决方法
你是如何宣布代理的?如果要在多个线程上读取/写入其值,则应确保使用volatile关键字声明它,否则其他人可能无法在一个线程上写入代理.
例如.:
volatile WebProxy proxy;
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。