Nodejs抓取html页面内容(推荐)
废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了。
具体代码如下所示:
varhttp=require("http"); variconv=require('iconv-lite'); varoption={ hostname:"stockdata.stock.hexun.com", path:"/gszl/s601398.shtml" }; varreq=http.request(option,function(res){ res.on("data",function(chunk){ console.log(iconv.decode(chunk,"gbk")); }); }).on("error",function(e){ console.log(e.message); }); req.end();
下面再看下面一种nodejs抓取网页内容
functionloadPage(url){ varhttp=require('http'); varpm=newPromise(function(resolve,reject){ http.get(url,function(res){ varhtml=''; res.on('data',function(d){ html+=d.toString() }); res.on('end',function(){ resolve(html); }); }).on('error',function(e){ reject(e) }); }); returnpm; } loadPage('http://www.baidu.com').then(function(d){ console.log(d); });