利用php抓取蜘蛛爬虫痕迹的示例代码
前言
相信许多的站长、博主可能最关心的无非就是自己网站的收录情况,一般情况下我们可以通过查看空间服务器的日志文件来查看搜索引擎到底爬取了我们哪些个页面,不过,如果用php代码分析web日志中蜘蛛爬虫痕迹,是比较好又比较直观方便操作的!下面是示例代码,有需要的朋友们下面来一起看看吧。
示例代码
<?php
//获取蜘蛛爬虫名或防采集
functionisSpider(){
$bots=array(
'Google'=>'googlebot',
'Baidu'=>'baiduspider',
'Yahoo'=>'yahooslurp',
'Soso'=>'sosospider',
'Msn'=>'msnbot',
'Altavista'=>'scooter',
'Sogou'=>'sogouspider',
'Yodao'=>'yodaobot'
);
$userAgent=strtolower($_SERVER['HTTP_USER_AGENT']);
foreach($botsas$k=>$v){
if(strstr($v,$userAgent)){
return$k;
break;
}
}
returnfalse;
}
//获取哪种蜘蛛爬虫后保存蜘蛛痕迹。
//根据采集时HTTP_USER_AGENT是否为空来防止采集
//抓蜘蛛爬虫
$spi=isSpider();
if($spi){
$tlc_thispage=addslashes($_SERVER['HTTP_USER_AGENT']);
$file='robot.txt';
$time=date('Y-m-dH:i:s',mktime());
$handle=fopen($file,'a+');
$PR=$_SERVER['REQUEST_URI'];
fwrite($handle,"Time:{$time}ROBOT:{$spi}AGENT:{$tlc_thispage}URL:{$PR}\n\r");
fclose($handle);
}
?>
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有问题大家可以留言交流。
热门推荐
1 训练狗狗憋尿
2 狗狗追踪训练
3 狗狗训练要多少钱
5 深圳狗狗训练
6 训练狗狗唤回
7 狗狗叫怎么训练
8 狗狗训练班
10 狗狗社会化训练
11 狗狗叫回训练
12 广州狗狗训练学校
13 狗狗训练躺下
14 狗狗随行训练
15 训练狗狗巡回
16 狗狗要怎么训练
17 狗狗喂食训练
18 训练狗狗躺下