Node.js 如何利用异步提升任务处理速度
今天在做一个小任务，需要调用阿里云的图像识别接口，对62662张照片进行场景识别，并将结果写到本地的csv文件中。
因为任务很简单，没想很多就开始码。自从有了async/await之后，已经很久不写callback了，所以上手就写成这样：
本文所有代码均有简化，只保留关键过程
asyncfetchSceneTags(imagePath){
try{
constresult=awaitcallAliyunAPI(imagePath);
returnresult.errno===0?result.tags:[];
}catch(error){
return[];
}
}
asyncfunctionwriteScene(paths){
for(leti=0,len=paths.length;i
运行起来以后没问题就放着忙别的去了。过了差不多2小时回来一看，才跑了17180张图，每分钟144张。这才意识到同步速度太慢了，于是停掉进程，将代码改成下面这样：
fetchSceneTagsAsync(imagePath,callback){
callAliyunAPI(imagePath)
.then(result=>{
consttags=result.errno===0?result.tags:[];
callback(tags);
})
.catch(error=>callback([]));
}
functionwriteSceneAsync(paths){
constcallback=tags=>{
awaittags=fetchSceneTagsAsync(paths[i])
writeToFile(tags);
}
paths.forEach(path=>fetchSceneTagsAsync(path,callback));
}
functionstart(){
constpaths=loadPaths();
writeSceneAsync(paths);
}
跑了一下，直接停摆了。嗯，不能一下把请求全发出去，加一个Throttle：
fetchSceneTagsAsync(imagePath,callback){
callAliyunAPI(imagePath)
.then(result=>{
consttags=result.errno===0?result.tags:[];
callback(tags);
})
.catch(error=>callback([]));
}
functionthrottle(paths,callback){
if(paths.length===0)return;
constsub=paths.splice(0,10);
sub.forEach(path=>fetchSceneTagsAsync(path,callback));
setTimeout(()=>throttle(paths,callback),1000)
}
functionwriteSceneAsync(paths){
constcallback=tags=>{
awaittags=fetchSceneTagsAsync(paths[i])
writeToFile(tags);
}
throttle(paths,callback)
}
functionstart(){
constpaths=loadPaths();
writeSceneAsync(paths);
}
重新启动服务，观察了一下，大约每分钟处理568张图片，速度提升约4倍。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。