apache禁止搜索引擎收录、网络爬虫采集的配置方法
Apache中禁止网络爬虫，之前设置了很多次的，但总是不起作用，原来是是写错了，不能写到Dirctory中，要写到Location中
<Location/> SetEnvIfNoCaseUser-Agent"spider"bad_bot BrowserMatchNoCasebingbotbad_bot BrowserMatchNoCaseGooglebotbad_bot OrderDeny,Allow #下面是禁止soso的爬虫 Denyfrom124.115.4.124.115.0.64.69.34.135216.240.136.125218.15.197.69155.69.160.9958.60.13.121.14.96.58.60.14.58.61.164.202.108.7.209 Denyfromenv=bad_bot </Location>
这是禁止了所有包含spider字符的爬虫。
如果要针对性的禁止爬虫，改成精确匹配的爬虫字符串，如果bingbot、Googlebot等等
热门推荐
10 五一公司放假祝福语简短
11 追星女孩的祝福语简短
12 给长辈端午祝福语 简短
13 生日祝福语有诗意简短
14 团圆日祝福语简短
15 中秋商务祝福语简短最新
16 温暖文艺简短祝福语短句
17 男孩上学祝福语简短的
18 入住酒店文案祝福语简短