详解python内置模块urllib
urllib是python的内置模块，主要用于处理url相关的一些操作，例如访问url、解析url等操作。
urllib包下面的request模块主要用于访问url，但是用得太多，因为它的光芒全都被requests这个第三方库覆盖了，最常用的还是parse模块。写爬虫过程中，经常要对url进行参数的拼接、编码、解码，域名、资源路径提取等操作，这时parse模块就可以排上用场。
一、urlparse
urlparse方法是把一个完整的URL拆分成不同的组成部分，你可以根据自己的需求提取其中的某部分内容。返回结果ParseResult是namedtuple的子类，由以下10部分组成，每部分既可以通过名字获取也可以通过下表索引得到。
>>>fromurllibimportparse >>>url='https://mp.weixin.qq.com/s?__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923#rd' >>>result=parse.urlparse(url) #返回ParseResult对象 >>>print(result) ParseResult(scheme='https',netloc='mp.weixin.qq.com',path='/s',params='',query='__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923',fragment='rd') #通过下标获取协议 >>>result[0] 'https' #协议 >>>result.scheme 'https' #url资源路径 >>>result.path '/s' #查询参数 >>>result.query '__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923' #获取主机名 >>>result.hostname 'mp.weixin.qq.com'
二、parse_qs
parse_qs方法是将查询参数这部分内容从字符串转换成字典对象
>>>parse.parse_qs(result.query)
{'__biz':['MjM5MzgyODQxMQ=='],'mid':['2650366919'],'idx':['1'],'sn':['1b36a9f2c0921cdeac52942ec591a923']}
>>>
每个参数名对应一个列表对象，这是因为在url规范中，一个参数名可以有多个值，例如：a=1&a=2，通常在实际应用场景中一般一个参数名只会对应一个值。
你可以用一行代码将列表转化为字符串
>>>{name:value[0]forname,valueinparse.parse_qs(result.query).items()}
{'__biz':'MjM5MzgyODQxMQ==','mid':'2650366919','idx':'1','sn':'1b36a9f2c0921cdeac52942ec591a923'}
三、urlencode
反过来，如果将一个字典对象想转换为url中的查询参数，那么就可以使用urlencode方法。
>>>d={'__biz':'MjM5MzgyODQxMQ==','mid':'2650366919','idx':'1'}
>>>parse.urlencode(d)
'__biz=MjM5MzgyODQxMQ%3D%3D&mid=2650366919&idx=1'
四、quote
在URL的标准规范中，url只允许数字、字母和部分特殊符号的存在，如果有中文和某些特殊符号，就需要使用UTF-8进行编码，将这些字符转换成%XX的形式，例如:【中】UTF-8编码的结果是：
>>>"中".encode() b'\xe4\xb8\xad'
那么浏览器实际上会把【中】转换成%e4%b8%ad
在python中，就可以用quote方法进行URL编码，对于特殊符号，也会进行成对应的16进制符号，例如【=】就转换成了%3D。
>>>parse.quote("q=中")
'q%3D%E4%B8%AD'
>>>
quote_plus可以将空格编码成“+”
>>>parse.quote_plus("ab")
'a+b'
>>>parse.quote("ab")
'a%20b'
五、unquote
unquote是quote的逆向过程，称之为URL解码，解码方便开发者阅读
>>>parse.unquote("q%3D%E4%B8%AD")
'q=中'
以上就是详解python内置模块urllib的详细内容，更多关于python内置模块urllib的资料请关注毛票票其它相关文章！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。