Python异步执行器
示例
注意:使用Python3.5+异步/等待语法
asyncio支持使用中的Executor对象concurrent.futures异步调度任务。事件循环具有run_in_executor()接受Executor对象,aCallable和Callable参数的功能。
安排任务Executor
import asyncio fromconcurrent.futuresimport ThreadPoolExecutor def func(a, b): #做时间密集的东西... return a + b async def main(loop): executor = ThreadPoolExecutor() result = await loop.run_in_executor(executor, func, "Hello,", " world!") print(result) if __name__ == "__main__": loop = asyncio.get_event_loop() loop.run_until_complete(main(loop))
每个事件循环还具有Executor可分配给的“默认”插槽Executor。要从Executor循环中分配任务和计划任务,请使用set_default_executor()方法。
import asyncio fromconcurrent.futuresimport ThreadPoolExecutor def func(a, b): #做时间密集的东西... return a + b async def main(loop): #注意:使用“无”作为第一个参数指定“默认”执行器。 result = await loop.run_in_executor(None, func, "Hello,", " world!") print(result) if __name__ == "__main__": loop = asyncio.get_event_loop() loop.set_default_executor(ThreadPoolExecutor()) loop.run_until_complete(main(loop))
Executorin有两种主要类型concurrent.futures,ThreadPoolExecutor和和ProcessPoolExecutor。该ThreadPoolExecutor含有可以通过构造或默认为芯在机器倍5.数量来手动设置为线程的特定数量的线程池ThreadPoolExecutor使用线程来执行分配给它的任务的池并且通常是更好在CPU绑定的操作而不是在I/O绑定的操作。与此相对应的是,该ProcessPoolExecutor会为分配给它的每个任务产生一个新进程。在ProcessPoolExecutor只能取任务,是picklable参数。最常见的非可拾取任务是对象的方法。如果您必须将对象的方法安排为中的任务,则Executor必须使用ThreadPoolExecutor。