CurlFuture PHP Curl并行轮转请求库

程序名称:CurlFuture

授权协议: MIT

操作系统: 跨平台

开发语言: PHP

CurlFuture 介绍

CurlFuture : PHP Curl并行轮转请求库

multicurl系列方法是提高php请求后端http接口的一种途径。但是直接使用的话,存在几方面问题:

  • 部分版本的curl扩展有bug,需要用特定的方式来调用(Rolling cURL: PHP并发最佳实践)

  • 网上流传的CurlRolling库都只支持前面加入,最后一并执行这种使用模式。而最理想的是随时加入,需要的时候从里面取出所需的结果,且不需等待其他请求返回

  • 为了提升效率,大部分库选择使用回调函数的方式来执行,对已有程序改造成本较高

为了解决这些问题,开发了CurlFuture库,实现了并行请求,先到先取,链式执行的特性。

应用场景

对于一些大型公司,PHP作为接口聚合层来使用,而接口通过HTTP协议给出。对于一些复杂的页面,可能需要请求几十个相互独立的接口,
如果使用并行模式,则可以极大的提升性能。

安装方法

引入入口php文件即可:include __DIR__.'/curl_future.php';

使用方法

/**
 * 获得一个延迟执行curl的类
 * @param $url 请求url地址
 * @param $options = array(), 
 *      header:头信息(Array), 
 *      proxy_url:代理服务器地址, 
 *      timeout:超时时间,可以小于1
 *      post_data: string|array post数据
 * @return CurlFuture\HttpFuture
 */
function curl_future($url, $options = array());

echo curl_future("http://s.newhua.com/2015/1113/304528.shtml?4", array())
        ->fetch();

并行请求的实例(async.php)

include __DIR__.'/curl_future.php';

$f4 = curl_future("http://s.newhua.com/2015/1113/304528.shtml?4");
$f5 = curl_future("http://s.newhua.com/2015/1113/304528.shtml?5");

echo strlen($f1->fetch());  //这个地方会并行执行
echo "\n";
echo strlen($f2->fetch());
echo "\n";

链式执行的示例(then.php)

include __DIR__.'/curl_future.php';

echo curl_future("http://s.newhua.com/2015/1113/304528.shtml")
    ->then(function($data){
        return strlen($data);
    })
    ->then(function($len){
        return "Length: $len";
    })
    ->fetch();

和Model/Service结合的示例(model.php)

include __DIR__.'/curl_future.php';

class BookModel{
    //接口串行调用的示例,通过then函数将处理过程串联起来
    static public function getTitleFuture($id){
        return curl_future("http://111.202.7.252/{$id}")
            ->then(function($data){
                return strlen($data);
            })
            ->then(function($data){
                $url = "http://111.202.7.252/{$data}";
                $html = curl_future($url)->fetch();
                preg_match('/title(.+?)\/title/is', $html, $matches);
                return $matches[1];
            });
    }

    //普通接口调用+后续处理的示例
    static public function getContentFuture($id){
        return curl_future("http://111.202.7.252/{$id}")
                ->then(function($data){
                    return substr($data, 0, 100);
                });
    }
}

//多个请求并行发出示例,这个地方用Model封装起来,便于和不同框架相结合
$t1 = BookModel::getTitleFuture('111');
$t2 = BookModel::getTitleFuture('222');
$t3 = BookModel::getTitleFuture('333');

$c1 = BookModel::getContentFuture('111');
$c2 = BookModel::getContentFuture('222');
$c3 = BookModel::getContentFuture('333');

//fetch函数会阻塞住,这个地方会把所有队列里面的请求发出,直到需要获取的t1的请求执行完再返回
var_dump($t1->fetch());
//由于上个fetch已经阻塞过了,下面的这个fetch很可能无需阻塞直接返回,也有可能上面的fetch没有执行完,此处阻塞住继续执行请求,直到拿到t2的数据
var_dump($t2->fetch());
var_dump($c3->fetch());

原理

在每次fetch的时候,开始事件循环。当所需http返回后,结束循环。继续执行php逻辑。

    //task_manager.php
    public function fetch($ch){
        $chKey = (int)$ch;

        //如果两个队列里面都没有,那么退出
        if(!array_key_exists($chKey, $this->runningTasks) && !array_key_exists($chKey, $this->finishedTasks) )return false;

        $active = 1;
        do{
            //如果任务完成了,那么退出
            if(array_key_exists($chKey, $this->finishedTasks))break;

            //执行multiLoop,直到该任务完成
            $active = $this->multiLoop();
            //如果执行出错,那么停止循环
            if($active === false)break;
        }while(1);

        return $this->finishTask($ch);
    }

性能测试

请求本机接口200次,nginx默认页面,同步、异步与file_get_contents对比

/example/bench.php

curl_future sync:384 ms
file_get_contents:390 ms
curl_futhre async:68 ms

curl_future sync:624 ms
file_get_contents:460 ms
curl_futhre async:69 ms

curl_future sync:463 ms
file_get_contents:355 ms
curl_futhre async:70 ms

curl_future sync:447 ms
file_get_contents:409 ms
curl_futhre async:66 ms

同步方式没有file_get_contents稳定,但是异步批量方式性能提升很明显。

参考项目

CurlFuture 官网

https://github.com/coooold/CurlFuture

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


提到 EclEmma 首先就要说到著名的 Java 覆盖测试工具Emma。从某种程度上说,EclEmma 可以看作是 Emma 的一个图形界面。
Solex是一个WEB应用测试用的Eclipse插件。Solex可以简化对WEB应用的测试操作。它发布在Apache Software
Apache为我们提供了一个强大的工具 Cactus!它是一套简单,易于使用的服务器端测试框架,可以使开发人员很轻松的测试服务器端的程序,他们会说:”哦,就是这么简单”。Cactus是
Google C Testing Framework是Google公司用来在各种不同平台上编写C测试代码的框架。
JdbcProxy 是 SourceForge 上一个开源的 Java 项目,用 Java 语言编写,遵循 LGPL 和 MPL1.1 协议,由 Frans
Ripplet是一款负载测试工具,特征如下: 1)基于Apache License 2.0许可证; 2)软件程序性能和负载测试工具;
Memtest86+ 是一款免费开源的内存测试软件,测试准确度比较高,内存的隐性问题也能检查出来!也是一款基于Linux核心的测试程序.
Winpdb是一款非常受python开发者欢迎的高级debugger工具。支持只能断点、多线程、名称空间修改、加密通讯等高级特性。
Selenium (SeleniumHQ) 是 thoughtworks公司的一个集成测试的强大工具。 一、Selenium 的版本
Flexcover是一个针对Flex、AIR和AS3的开源代码覆盖率工具套件。 Flexcover的设计主要出于以下目的:
Architecture Rules是一个开源java库,通过它断言你的架构。Architecture Rules通 过一个xml配置文件和一个可选的程序配置文件通过集成测试(unit
Tsung 是一个压力测试工具,可以测试包括HTTP, WebDAV,PostgreSQL,MySQL, LDAP, and XMPP/Jabber等服务器。针对 HTTP
JDebugTool 是一个独立的图形化的Java调试器,基于 JPDA (Java Platform Debugger Architecture)
Sahi 是一个用于Web应用程序的自动测试工具。 Sahi 运行为一个代理服务器,必须把浏览器的代理设置为 Sahi 服务器。然后Sahi 注入javascript来访问Web页面中的元素。
UnitTH is a simple, easy to use Open Source software application for generating historical test reports from JUnit test reports.
TestLink用于进行测试过程中的管理,通过使用TestLink提供的功能,可以将测试过程从测试需求、测试设计、到测试执行完整的管理起来,同时,它还提供了好多种测试结果的统计和分析,使我们能够简单的开始测试工作和
Metasploit Framework是一个编写,测试和使用exploit代码的完善环境。这个环境为渗透测试,shellcode编写和漏洞研究
JSystem 是一个开源的系统自动测试框架,包含以下的组件: 1. Services Java API - exposes JSystem services
Jester 是一个 JUnit 测试的测试器,擅长发现测试套件的问题,并提供对代码基本结构的深入观察。
PolePosition 是一个开源的数据库性能测试工具。 下图是该工具测试完成后生成的报表