nodeJs爬虫的技术点总结
背景
最近打算把之前看过的nodeJs相关的内容在复习下，顺便写几个爬虫来打发无聊，在爬的过程中发现一些问题，记录下以便备忘。
依赖
用到的是在网上烂大街的cheerio库来处理爬取的内容，使用superagent处理请求，log4js来记录日志。
日志配置
话不多说，直接上代码：
constlog4js=require('log4js');
log4js.configure({
appenders:{
cheese:{
type:'dateFile',
filename:'cheese.log',
pattern:'-yyyy-MM-dd.log',
//包含模型
alwaysIncludePattern:true,
maxLogSize:1024,
backups:3}
},
categories:{default:{appenders:['cheese'],level:'info'}}
});
constlogger=log4js.getLogger('cheese');
logger.level='INFO';
module.exports=logger;
以上直接导出一个logger对象，在业务文件里直接调用logger.info()等函数添加日志信息就可以，会按天生成日志。相关信息网络上一堆。
爬取内容并处理
superagent.get(cityItemUrl).end((err,res)=>{
if(err){
returnconsole.error(err);
}
const$=cheerio.load(res.text);
//解析当前页面,获取当前页面的城市链接地址
constcityInfoEle=$('.newslist1lia');
cityInfoEle.each((idx,element)=>{
const$element=$(element);
constsceneURL=$element.attr('href');//页面地址
constsceneName=$element.attr('title');//城市名称
if(!sceneName){
return;
}
logger.info(`当前解析到的目的地是:${sceneName},对应的地址为:${sceneURL}`);
getDesInfos(sceneURL,sceneName);//获取城市详细信息
ep.after('getDirInfoComplete',cityInfoEle.length,(dirInfos)=>{
constcontent=JSON.parse(fs.readFileSync(path.join(__dirname,'./imgs.json')));
dirInfos.forEach((element)=>{
logger.info(`本条数据为:${JSON.stringify(element)}`);
Object.assign(content,element);
});
fs.writeFileSync(path.join(__dirname,'./imgs.json'),JSON.stringify(content));
});
});
});
使用superagent请求页面，请求成功后使用cheerio来加载页面内容，然后使用类似Jquery的匹配规则来查找目的资源。
多个资源加载完成，使用eventproxy来代理事件，处理一次资源处罚一次事件，所有事件触发完成后处理数据。
以上就是最基本的爬虫了，接下来就是一些可能会出问题或者需要特别注意的地方了。。。
读写本地文件
创建文件夹
functionmkdirSync(dirname){
if(fs.existsSync(dirname)){
returntrue;
}
if(mkdirSync(path.dirname(dirname))){
fs.mkdirSync(dirname);
returntrue;
}
returnfalse;
}
读写文件
constcontent=JSON.parse(fs.readFileSync(path.join(__dirname,'./dir.json')));
dirInfos.forEach((element)=>{
logger.info(`本条数据为:${JSON.stringify(element)}`);
Object.assign(content,element);
});
fs.writeFileSync(path.join(__dirname,'./dir.json'),JSON.stringify(content));
批量下载资源
下载资源可能包括图片、音频等等。
使用Bagpipe处理异步并发参考
constBagpipe=require('bagpipe');
constbagpipe=newBagpipe(10);
bagpipe.push(downloadImage,url,dstpath,(err,data)=>{
if(err){
console.log(err);
return;
}
console.log(`[${dstpath}]:${data}`);
});
下载资源，使用stream来完成文件写入。
functiondownloadImage(src,dest,callback){
request.head(src,(err,res,body)=>{
if(src&&src.indexOf('http')>-1||src.indexOf('https')>-1){
request(src).pipe(fs.createWriteStream(dest)).on('close',()=>{
callback(null,dest);
});
}
});
}
编码
有时候直接使用cheerio.load处理的网页内容，写入文件后发现是编码后的文字，可以通过
const$=cheerio.load(buf,{decodeEntities:false});
来禁止编码，
ps:encoding库和iconv-lite未能实现将utf-8编码的字符转换为中文，可能是还对API不熟悉，稍后可以关注下。
最后，附上一个匹配所有dom标签的正则
constreg=/<.*?>/g;