Python爬虫小技巧之伪造随机的User-Agent
前言
不管是做开发还是做过网站的朋友们，应该对于UserAgent一点都不陌生，UserAgent中文名为用户代理，简称UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等
在Python爬虫的过程中经常要模拟UserAgent,因此自动生成UserAgent十分有用
通过UA来判断不同的设备或者浏览器是开发者最常用的方式方法，这个也是对于Python反爬的一种策略，但是有盾就有矛啊
写好爬虫的原则只有一条:
就是让你的抓取行为和用户访问网站的真实行为尽量一致
1、伪造UA字符串，每次请求都使用随机生成的UA
为了减少复杂度，随机生成UA的功能通过第三方模块库fake-useragent实现，使用pip进行安装
pipinstallfake-useragent
2、生成一个UA字符串只需要如下代码
fromfake_useragentimportUserAgent ua=UserAgent()
各浏览器的User-Agent
这个库还有一个其他的功能，就是可以随机各浏览器的UA
IE浏览器的UA：
print(ua.ie)
Mozilla/5.0(Windows;U;MSIE9.0;WindowsNT9.0;en-US)
Opera浏览器的UA：
print(ua.opera)
Opera/9.80(WindowsNT6.1;U;zh-cn)Presto/2.6.37Version/11.00
Chrome浏览器的UA：
print(ua.chrome)
Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.2(KHTML,likeGecko)Chrome/22.0.1216.0Safari/537.2
Firefox浏览器的UA：
print(ua.firefox)
Mozilla/5.0(WindowsNT6.2;Win64;x64;rv:16.0.1)Gecko/20121011Firefox/16.0.1
Safari浏览器的UA：
print(ua.safari)
Mozilla/5.0(iPad;CPUOS6_0likeMacOSX)AppleWebKit/536.26(KHTML,likeGecko)Version/6.0Mobile/10A5355dSafari/8536.25
随机User-Agent
写爬虫最实用的就是可以随意变换headers，一定要有随机性
在这里我写了三个随机生成UA，三次打印都不一样，随机性很强，十分方便
print(ua.random) print(ua.random) print(ua.random)
Mozilla/5.0(X11;CrOSi6863912.101.0)AppleWebKit/537.36(KHTML,likeGecko)Chrome/27.0.1453.116Safari/537.36
Mozilla/5.0(Macintosh;IntelMacOSX10_10_1)AppleWebKit/537.36(KHTML,likeGecko)Chrome/37.0.2062.124Safari/537.36
Mozilla/5.0(Macintosh;IntelMacOSX10_9_0)AppleWebKit/537.36(KHTML,likeGecko)Chrome/32.0.1664.3Safari/537.36
当然，你如果不想这么用的话，你也可以自己搜集一些UA，存为文本文件，然后打开读取来用
附：常用的User-Agent列表
USER_AGENTS=[ "Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;SV1;AcooBrowser;.NETCLR1.1.4322;.NETCLR2.0.50727)", "Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0;AcooBrowser;SLCC1;.NETCLR2.0.50727;MediaCenterPC5.0;.NETCLR3.0.04506)", "Mozilla/4.0(compatible;MSIE7.0;AOL9.5;AOLBuild4337.35;WindowsNT5.1;.NETCLR1.1.4322;.NETCLR2.0.50727)", "Mozilla/5.0(Windows;U;MSIE9.0;WindowsNT9.0;en-US)", "Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Win64;x64;Trident/5.0;.NETCLR3.5.30729;.NETCLR3.0.30729;.NETCLR2.0.50727;MediaCenterPC6.0)", "Mozilla/5.0(compatible;MSIE8.0;WindowsNT6.0;Trident/4.0;WOW64;Trident/4.0;SLCC2;.NETCLR2.0.50727;.NETCLR3.5.30729;.NETCLR3.0.30729;.NETCLR1.0.3705;.NETCLR1.1.4322)", "Mozilla/4.0(compatible;MSIE7.0b;WindowsNT5.2;.NETCLR1.1.4322;.NETCLR2.0.50727;InfoPath.2;.NETCLR3.0.04506.30)", "Mozilla/5.0(Windows;U;WindowsNT5.1;zh-CN)AppleWebKit/523.15(KHTML,likeGecko,Safari/419.3)Arora/0.3(Change:287c9dfb30)", "Mozilla/5.0(X11;U;Linux;en-US)AppleWebKit/527+(KHTML,likeGecko,Safari/419.3)Arora/0.6", "Mozilla/5.0(Windows;U;WindowsNT5.1;en-US;rv:1.8.1.2pre)Gecko/20070215K-Ninja/2.1.1", "Mozilla/5.0(Windows;U;WindowsNT5.1;zh-CN;rv:1.9)Gecko/20080705Firefox/3.0Kapiko/3.0", "Mozilla/5.0(X11;Linuxi686;U;)Gecko/20070322Kazehakase/0.4.5", "Mozilla/5.0(X11;U;Linuxi686;en-US;rv:1.9.0.8)GeckoFedora/1.9.0.8-1.fc10Kazehakase/0.5.6", "Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.11(KHTML,likeGecko)Chrome/17.0.963.56Safari/535.11", "Mozilla/5.0(Macintosh;IntelMacOSX10_7_3)AppleWebKit/535.20(KHTML,likeGecko)Chrome/19.0.1036.7Safari/535.20", "Opera/9.80(Macintosh;IntelMacOSX10.6.8;U;fr)Presto/2.9.168Version/11.52", ]
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对毛票票的支持。
原文链接：https://qq52o.me/2281.html