PHP使用curl_multi_select解决curl_multi网页假死问题的方法
本文实例讲述了PHP使用curl_multi_select解决curl_multi网页假死问题的方法。分享给大家供大家参考,具体如下:
curl_multi可以批处理事务,给网页编程带来很大的方便。不过在使用curl_multi的过程中,我们会遇到一个比较头疼的问题,那就是当并发处理的事务数量过多的时候,就会出现CPU过高,网页假死的现象,这是不可以忽视的。
今天,通过查询相关资料和测试,终于找到了一个解决问题的方法。
正常情况下,我们是这样使用curl_multi的。
实例代码:
$connomains=array( "//www.nhooo.com/", "http://www.163.com/", "http://www.sina.com.cn/" ); $mh=curl_multi_init(); foreach($connomainsas$i=>$url){ $conn[$i]=curl_init($url); curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1); curl_multi_add_handle($mh,$conn[$i]); } do{$n=curl_multi_exec($mh,$active);}while($active); foreach($connomainsas$i=>$url){ $res[$i]=curl_multi_getcontent($conn[$i]); curl_close($conn[$i]); } print_r($res);
这个实例代码有个致命弱点,就是在do循环的那段,在整个url请求期间是个死循环,它会轻易导致CPU占用很高,网页出现假死状态。
经过测试发现,我们可以巧妙使用curl_multi_select()函数来解决这个问题。
方法如下:
把
do{$n=curl_multi_exec($mh,$active);}while($active);
改为
do{ $mrc=curl_multi_exec($mh,$active); }while($mrc==CURLM_CALL_MULTI_PERFORM); while($activeand$mrc==CURLM_OK){ if(curl_multi_select($mh)!=-1){ do{ $mrc=curl_multi_exec($mh,$active); }while($mrc==CURLM_CALL_MULTI_PERFORM); } }
因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,暂时没有数据就进入select阶段,新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。
另外可能遇到的问题:
控制每一个请求的超时时间,在curl_multi_add_handle之前通过curl_setopt去做:
curl_setopt($ch,CURLOPT_TIMEOUT,$timeout);
判断是否超时了或者其他错误,在curl_multi_getcontent之前用:
curl_error($conn[$i]);
了解multi接口
当程序需要进行多次curl并发请求的时候,curl提供的multi接口就派上用场了。流畅大致是这样的:
1)、curl_multi_init初始化一个multicurl对象,为了同时进行多个curl的并发访问,我们需要初始化多个easycurl对象,使用curl_easy_setopt进行相关设置。
2)、调用curl_multi_add_handle把easycurl对象添加到multicurl对象中。
3)、添加完毕后执行curl_multi_perform方法进行并发的访问。
4)、访问结束后curl_multi_remove_handle移除相关easycurl对象,curl_easy_cleanup清除easycurl对象。
5)、最后curl_multi_cleanup清除multicurl对象。
一个简单明了的PHP使用curl_multi_add_handle并行处理实例
0); //关闭全部句柄 curl_multi_remove_handle($mh,$ch1); curl_multi_remove_handle($mh,$ch2); curl_multi_close($mh); ?>
更多关于PHP相关内容感兴趣的读者可查看本站专题:《phpcurl用法总结》、《PHP网络编程技巧总结》、《PHP数组(Array)操作技巧大全》、《php字符串(string)用法总结》、《PHP数据结构与算法教程》及《PHP中json格式数据操作技巧汇总》
希望本文所述对大家PHP程序设计有所帮助。