你可能不知道的Python 技巧小结
译者|豌豆花下猫
声明:本文获得原作者授权翻译,转载请保留原文出处,请勿用于商业或非法用途。
有许许多多文章写了Python中的许多很酷的特性,例如变量解包、偏函数、枚举可迭代对象,但是关于Python还有很多要讨论的话题,因此在本文中,我将尝试展示一些我知道的和在使用的,但很少在其它文章提到过的特性。那就开始吧。
1、对输入的字符串“消毒”
对用户输入的内容“消毒”,这问题几乎适用于你编写的所有程序。通常将字符转换为小写或大写就足够了,有时你还可以使用正则表达式来完成工作,但是对于复杂的情况,还有更好的方法:
user_input="This\nstringhas\tsomewhitespaces...\r\n" character_map={ ord('\n'):'', ord('\t'):'', ord('\r'):None } user_input.translate(character_map)#Thisstringhassomewhitespaces..."
在此示例中,你可以看到空格字符“\n”和“\t”被单个空格替换了,而“\r”则被完全删除。这是一个简单的示例,但是我们可以更进一步,使用unicodedata库及其combining()函数,来生成更大的重映射表(remappingtable),并用它来删除字符串中所有的重音。
2、对迭代器切片
如果你尝试直接对迭代器切片,则会得到TypeError,提示说该对象不可取下标(notsubscriptable),但是有一个简单的解决方案:
importitertools s=itertools.islice(range(50),10,20)#forvalins: ...
使用itertools.islice,我们可以创建一个islice对象,该对象是一个迭代器,可以生成我们所需的内容。但是这有个重要的提醒,即它会消耗掉切片前以及切片对象islice中的所有元素。
(译注:更多关于迭代器切片的内容,可阅读Python进阶:迭代器与迭代器切片)
3、跳过可迭代对象的开始
有时候你必须处理某些文件,它们以可变数量的不需要的行(例如注释)为开头。itertools再次提供了简单的解决方案:
string_from_file=""" //Author:... //License:... // //Date:... Actualcontent... """ importitertools forlineinitertools.dropwhile(lambdaline:line.startswith("//"),string_from_file.split("\n")): print(line)
这段代码仅会打印在初始的注释部分之后的内容。如果我们只想丢弃迭代器的开头部分(在此例中是注释),并且不知道有多少内容,那么此方法很有用。
4、仅支持关键字参数(kwargs)的函数
当需要函数提供(强制)更清晰的参数时,创建仅支持关键字参数的函数,可能会挺有用:
deftest(*,a,b): pass test("valuefora","valueforb")#TypeError:test()takes0positionalarguments... test(a="value",b="value2")#Works...
如你所见,可以在关键字参数之前,放置单个*参数来轻松解决此问题。如果我们将位置参数放在*参数之前,则显然也可以有位置参数。
5、创建支持with语句的对象
我们都知道如何使用with语句,例如打开文件或者是获取锁,但是我们可以实现自己的么?是的,我们可以使用__enter__和__exit__方法来实现上下文管理器协议:
classConnection: def__init__(self): ... def__enter__(self): #Initializeconnection... def__exit__(self,type,value,traceback): #Closeconnection... withConnection()asc: #__enter__()executes ... #conn.__exit__()executes
这是在Python中实现上下文管理的最常见方法,但是还有一种更简单的方法:
fromcontextlibimportcontextmanager @contextmanager deftag(name): print(f"<{name}>") yield print(f"{name}>") withtag("h1"): print("ThisisTitle.")
上面的代码段使用contextmanager装饰器实现了内容管理协议。tag函数的第一部分(yield之前)会在进入with语句时执行,然后执行with的代码块,最后会执行tag函数的剩余部分。
6、用__slots__节省内存
如果你曾经编写过一个程序,该程序创建了某个类的大量实例,那么你可能已经注意到你的程序突然就需要大量内存。那是因为Python使用字典来表示类实例的属性,这能使其速度变快,但内存不是很高效。通常这不是个问题,但是,如果你的程序遇到了问题,你可以尝试使用__slots__:
classPerson: __slots__=["first_name","last_name","phone"] def__init__(self,first_name,last_name,phone): self.first_name=first_name self.last_name=last_name self.phone=phone
这里发生的是,当我们定义__slots__属性时,Python使用固定大小的小型数组,而不是字典,这大大减少了每个实例所需的内存。使用__slots__还有一些缺点——我们无法声明任何新的属性,并且只能使用在__slots__中的属性。同样,带有__slots__的类不能使用多重继承。
7、限制CPU和内存使用量
如果不是想优化程序内存或CPU使用率,而是想直接将其限制为某个固定数字,那么Python也有一个库能做到:
importsignal importresource importos #ToLimitCPUtime deftime_exceeded(signo,frame): print("CPUexceeded...") raiseSystemExit(1) defset_max_runtime(seconds): #Installthesignalhandlerandsetaresourcelimit soft,hard=resource.getrlimit(resource.RLIMIT_CPU) resource.setrlimit(resource.RLIMIT_CPU,(seconds,hard)) signal.signal(signal.SIGXCPU,time_exceeded) #Tolimitmemoryusage defset_max_memory(size): soft,hard=resource.getrlimit(resource.RLIMIT_AS) resource.setrlimit(resource.RLIMIT_AS,(size,hard))
在这里,我们可以看到两个选项,可设置最大CPU运行时间和内存使用上限。对于CPU限制,我们首先获取该特定资源(RLIMIT_CPU)的软限制和硬限制,然后通过参数指定的秒数和先前获取的硬限制来设置它。最后,如果超过CPU时间,我们将注册令系统退出的信号。至于内存,我们再次获取软限制和硬限制,并使用带有size参数的setrlimit和获取的硬限制对其进行设置。
8、控制可以import的内容
某些语言具有非常明显的用于导出成员(变量、方法、接口)的机制,例如Golang,它仅导出以大写字母开头的成员。另一方面,在Python中,所有内容都会被导出,除非我们使用__all__:
deffoo(): pass defbar(): pass __all__=["bar"]
使用上面的代码段,我们可以限制fromsome_moduleimport*在使用时可以导入的内容。对于以上示例,通配导入时只会导入bar。此外,我们可以将__all__设为空,令其无法导出任何东西,并且在使用通配符方式从此模块中导入时,将引发AttributeError。
9、比较运算符的简便方法
为一个类实现所有比较运算符可能会很烦人,因为有很多的比较运算符——__lt__、__le__、__gt__或__ge__。但是,如果有更简单的方法呢?functools.total_ordering可救场:
fromfunctoolsimporttotal_ordering @total_ordering classNumber: def__init__(self,value): self.value=value def__lt__(self,other): returnself.value<other.value def__eq__(self,other): returnself.value==other.value print(Number(20)>Number(3)) print(Number(1)<Number(5)) print(Number(15)>=Number(15)) print(Number(10)<=Number(2))
这到底如何起作用的?total_ordering装饰器用于简化为我们的类实例实现排序的过程。只需要定义__lt__和__eq__,这是最低的要求,装饰器将映射剩余的操作——它为我们填补了空白。
(译注:原作者的文章分为两篇,为了方便读者们阅读,我特将它们整合在一起,以下便是第二篇的内容。)
10、使用slice函数命名切片
使用大量硬编码的索引值会很快搞乱维护性和可读性。一种做法是对所有索引值使用常量,但是我们可以做得更好:
#IDFirstNameLastName line_record="2JohnSmith" ID=slice(0,8) FIRST_NAME=slice(9,21) LAST_NAME=slice(22,27) name=f"{line_record[FIRST_NAME].strip()}{line_record[LAST_NAME].strip()}" #name=="JohnSmith"
在此例中,我们可以避免神秘的索引,方法是先使用slice函数命名它们,然后再使用它们。你还可以通过.start、.stop和.stop属性,来了解slice对象的更多信息。
11、在运行时提示用户输入密码
许多命令行工具或脚本需要用户名和密码才能操作。因此,如果你碰巧写了这样的程序,你可能会发现getpass模块很有用:
importgetpass user=getpass.getuser() password=getpass.getpass() #DoStuff...
这个非常简单的包通过提取当前用户的登录名,可以提示用户输入密码。但是须注意,并非每个系统都支持隐藏密码。Python会尝试警告你,因此切记在命令行中阅读警告信息。
12、查找单词/字符串的相近匹配
现在,关于Python标准库中一些晦涩难懂的特性。如果你发现自己需要使用Levenshteindistance【2】之类的东西,来查找某些输入字符串的相似单词,那么Python的difflib会为你提供支持。
importdifflib difflib.get_close_matches('appel',['ape','apple','peach','puppy'],n=2) #returns['apple','ape']
difflib.get_close_matches会查找最佳的“足够好”的匹配。在这里,第一个参数与第二个参数匹配。我们还可以提供可选参数n,该参数指定要返回的最多匹配结果。另一个可选的关键字参数cutoff(默认值为0.6),可以设置字符串匹配得分的阈值。
13、使用IP地址
如果你必须使用Python做网络开发,你可能会发现ipaddress模块非常有用。一种场景是从CIDR(无类别域间路由ClasslessInter-DomainRouting)生成一系列IP地址:
importipaddress net=ipaddress.ip_network('74.125.227.0/29')#WorksforIPv6too #IPv4Network('74.125.227.0/29') foraddrinnet: print(addr) #74.125.227.0 #74.125.227.1 #74.125.227.2 #74.125.227.3 #...
另一个不错的功能是检查IP地址的网络成员资格:
ip=ipaddress.ip_address("74.125.227.3") ipinnet #True ip=ipaddress.ip_address("74.125.227.12") ipinnet #False
还有很多有趣的功能,在这里【3】可以找到,我不再赘述。但是请注意,ipaddress模块和其它与网络相关的模块之间只有有限的互通性。例如,你不能将IPv4Network实例当成地址字符串——需要先使用str转换它们。
14、在Shell中调试程序崩溃
如果你是一个拒绝使用IDE,并在Vim或Emacs中进行编码的人,那么你可能会遇到这样的情况:拥有在IDE中那样的调试器会很有用。
你知道吗?你有一个——只要用python3.8-i运行你的程序——一旦你的程序终止了,-i会启动交互式shell,在那你可以查看所有的变量和调用函数。整洁,但是使用实际的调试器(pdb)会如何呢?让我们用以下程序(script.py):
deffunc(): return0/0 func()
并使用python3.8-iscript.py运行脚本:
#Scriptcrashes...
Traceback(mostrecentcalllast):
File"script.py",line4,in
func()
File"script.py",line2,infunc
return0/0
ZeroDivisionError:divisionbyzero
>>>importpdb
>>>pdb.pm() #Post-mortemdebugger
>script.py(2)func()
->return0/0
(Pdb)
我们看到了崩溃的地方,现在让我们设置一个断点:
deffunc(): breakpoint()#importpdb;pdb.set_trace() return0/0 func()
现在再次运行它:
script.py(3)func()
->return0/0
(Pdb) #westarthere
(Pdb)step
ZeroDivisionError:divisionbyzero
>script.py(3)func()
->return0/0
(Pdb)
大多数时候,打印语句和错误信息就足以进行调试,但是有时候,你需要四处摸索,以了解程序内部正在发生的事情。在这些情况下,你可以设置断点,然后程序执行时将在断点处停下,你可以检查程序,例如列出函数参数、表达式求值、列出变量、或如上所示仅作单步执行。
pdb是功能齐全的Pythonshell,理论上你可以执行任何东西,但是你还需要一些调试命令,可在此处【4】找到。
15、在一个类中定义多个构造函数
函数重载是编程语言(不含Python)中非常常见的功能。即使你不能重载正常的函数,你仍然可以使用类方法重载构造函数:
importdatetime classDate: def__init__(self,year,month,day): self.year=year self.month=month self.day=day @classmethod deftoday(cls): t=datetime.datetime.now() returncls(t.year,t.month,t.day) d=Date.today() print(f"{d.day}/{d.month}/{d.year}") #14/9/2019
你可能倾向于将替代构造函数的所有逻辑放入__init__,并使用*args、**kwargs和一堆if语句,而不是使用类方法来解决。那可能行得通,但是却变得难以阅读和维护。
因此,我建议将很少的逻辑放入__init__,并在单独的方法/构造函数中执行所有操作。这样,对于类的维护者和用户而言,得到的都是干净的代码。
16、使用装饰器缓存函数调用
你是否曾经编写过一种函数,它执行昂贵的I/O操作或一些相当慢的递归,而且该函数可能会受益于对其结果进行缓存(存储)?如果你有,那么有简单的解决方案,即使用functools的lru_cache:
fromfunctoolsimportlru_cache importrequests @lru_cache(maxsize=32) defget_with_cache(url): try: r=requests.get(url) returnr.text except: return"NotFound" forurlin["https://google.com/", "https://martinheinz.dev/", "https://reddit.com/", "https://google.com/", "https://dev.to/martinheinz", "https://google.com/"]: get_with_cache(url) print(get_with_cache.cache_info()) #CacheInfo(hits=2,misses=4,maxsize=32,currsize=4)
在此例中,我们用了可缓存的GET请求(最多32个缓存结果)。你还可以看到,我们可以使用cache_info方法检查函数的缓存信息。装饰器还提供了clear_cache方法,用于使缓存结果无效。
我还想指出,此函数不应与具有副作用的函数一起使用,或与每次调用都创建可变对象的函数一起使用。
17、在可迭代对象中查找最频繁出现的元素
在列表中查找最常见的元素是非常常见的任务,你可以使用for循环和字典(map),但是这没必要,因为collections模块中有Counter类:
fromcollectionsimportCounter cheese=["gouda","brie","feta","creamcheese","feta","cheddar", "parmesan","parmesan","cheddar","mozzarella","cheddar","gouda", "parmesan","camembert","emmental","camembert","parmesan"] cheese_count=Counter(cheese) print(cheese_count.most_common(3)) #Prints:[('parmesan',4),('cheddar',3),('gouda',2)]
实际上,Counter只是一个字典,将元素与出现次数映射起来,因此你可以将其用作普通字典:
print(cheese_count["mozzarella"]) #Prints:1 cheese_count["mozzarella"]+=1 print(cheese_count["mozzarella"]) #Prints:2
除此之外,你还可以使用update(more_words)方法轻松添加更多元素。Counter的另一个很酷的特性是你可以使用数学运算(加法和减法)来组合和减去Counter的实例。
小结
在日常Python编程中,并非所有这些特性都是必不可少的和有用的,但是其中一些特性可能会时不时派上用场,并且它们也可能简化任务,而这本来可能很冗长且令人讨厌。
我还要指出的是,所有这些特性都是Python标准库的一部分,虽然在我看来,其中一些特性非常像是标准库中的非标准内容。因此,每当你要在Python中实现某些功能时,首先可在标准库查看,如果找不到,那你可能看得还不够仔细(如果它确实不存在,那么肯定在某些三方库中)。
如果你使用Python,那么我认为在这里分享的大多数技巧几乎每天都会有用,因此我希望它们会派上用场。另外,如果你对这些Python技巧和骚操作有任何想法,或者如果你知道解决上述问题的更好方法,请告诉我!