node.js 抓取代理ip实例代码
node.js实现抓取代理ip
主要文件：index.js
/*
*支持：node.jsv7.9.0
*/
constcheerio=require('cheerio');
constfetch=require('node-fetch');
constPromise=require('bluebird');
letmongoose=require('mongoose');
Promise.promisifyAll(mongoose);
letSchema=mongoose.Schema;
mongoose.connect('mongodb://localhost:27017/ipproxypool');
letIPpool=newSchema({
ip:{type:String,unique:true}
})
letIpproxy=mongoose.model('IP',IPpool);
functionfetchUrl(url){
fetch(url,{
method:'get',
headers:{
}
})
.then(res=>res.text())
.then(body=>{
let$=cheerio.load(body);
letlength=$('#listtabletbody').find('tr').length;
for(leti=0;i
包支持：package.json
{
"name":"demo-4-ipproxypool",
"version":"1.0.0",
"description":"",
"main":"index.js",
"scripts":{
"test":"echo\"Error:notestspecified\"&&exit1"
},
"author":"false-l",
"license":"",
"devDependencies":{
"babel-preset-es2015":"^6.24.1",
"babel-preset-react":"^6.24.1",
"babel-preset-stage-3":"^6.24.1"
},
"dependencies":{
"babel-core":"^6.24.1",
"bluebird":"^3.5.0",
"cheerio":"^0.22.0",
"koa":"^2.2.0",
"koa-router":"^7.1.1",
"mongoose":"^4.9.6",
"node-fetch":"^1.6.3"
}
}
本地需要安装mongodb数据库,用于存储抓取到的ip，目前还未实现ip验证。写这个主要是处于好奇。
上面的代码就可以实现抓取ip代理网站的ip并存到mongodb数据库中。
下面在放出一个基于koa2的api接口的简易服务器实现
server
constPromise=require('bluebird');
letmongoose=require('mongoose');
constkoa=require('koa');
constapp=newkoa();
varrouter=require('koa-router')();
Promise.promisifyAll(mongoose);
letSchema=mongoose.Schema;
mongoose.connect('mongodb://localhost:27017/ipproxypool');
letIPpool=newSchema({
ip:{type:String,unique:true}
})
letIpproxy=mongoose.model('IP',IPpool);
app.use(async(ctx,next)=>{
awaitnext();
vardata=awaitIpproxy.find({},function(err,ips){
varipmap=[];
ips.forEach(function(ip){
ipmap[ip._id]=ip;
//console.log(ip)
});
})
varmap=data.map(ip=>ip.ip);
ctx.response.type='text/json';
ctx.response.body=map;
});
app.listen(3000);
console.log('serverlisten:3000')
至于为什么既有promise又有async，是因为对异步语法还不是很熟，怎么会怎么写了。
使用方式：
根据package.json
npminstall //安装支持
nodeindex.js //获取代理ip
nodeserver.js //运行简易ip接口
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！