微客导航 » 文章资讯 » nodeJS实现简单网页爬虫功能的实例(分享)

nodeJS实现简单网页爬虫功能的实例(分享)

2024-02-20 15:19:03 303

本文将使用nodeJS实现一个简单的网页爬虫功能

网页源码

使用http.get()方法获取网页源码，以hao123网站的头条页面为例

http://tuijian.hao123.com/hotrank

varhttp=require('http');
http.get('http://tuijian.hao123.com/hotrank',function(res){
vardata='';
res.on('data',function(chunk){
data+=chunk;
});
res.on('end',function(){
console.log(data);
})
});

获得的结果如下所示：





















热点排行榜-头条新闻-hao123新闻导航_hao123上网导航























window.aid="nWRkrj61PjnYriYYrHfsrHbsnHb";


hao123

导航

休闲娱乐电影动漫综艺搞笑直播视频页游明星交友体育足球NBA星座电视剧小游戏

生活服务团购银行军事房产股票基金天气菜谱汽车地图招聘儿童母婴健康大学手机

其他类别软件邮箱微博公益宠物杀毒设计电脑桌面行业摄影英语考试学习小清新

一键登录

VIP俱乐部退出

头条

娱乐

体育

财经

军事

国内

国际

历史

科技

汽车

教育

游戏

房产

时尚

热点排行

送考车要讲究毛坦厂中学送考规模庞大

江苏"拇指西瓜"上市可连皮食用

非洲女子嫁中国郎2年后成广场舞明星

广州一考生去错考场交警蜀黍紧急送考

福建小伙南非建安保公司持AK47与劫匪激战

老师拔河搞怪表情走红拔河如戏全靠演技

八卦热点更多八卦>>

男子上山寻宝挖出这物吓坏了!

千年巨蛇镇守古墓竟借尸还魂

地球是个监狱人类只是试验品！DNA检测是叔叔的可爸爸是独子出差两月打开电饭锅后惊呆了女孩中大奖4年后怒告彩票公司印度神牛竟拉出300多颗钻石！21岁男孩吞云吐雾成烟雾之神！继母让3孩子喝农药，继女死亡惊呆！实拍假鸡蛋制作的全过程{di:"u0000",tn:"sitehao123_03",rsi0:"1190",rsi1:"150",type:"metro",version:"201",style:"lichun"}

实时热点

排名关键词搜索指数

1美国逮捕女斯诺登

35388

2成都隐秘母乳买卖

34497

3曝周杰伦青涩旧照

1457

4老头公交强吻女孩

103307

5王传君恋情曝光

26616

6杭州现奇葩窗口

26837

7忘带全班准考证

125127

8未成年持械拍网红

1672

99秒揍儿子8拳

93193

10戴耳机穿轨道被撞

195745

今日热点

排名关键词搜索指数

1北京回龙观大火

174225

2选美冠军车祸身亡

172447

32017高考

136806

4成都老火锅店被查

121729

5陈浩民娇妻秀身材

115877

6海边直播发现浮尸

86157

7曝印小天遭妻骗婚

83749

8苹果开发者大会

78140

96万斤鱼缺氧死亡

68984

10安以轩夏威夷大婚

56675

民生热点

排名关键词搜索指数

1北京回龙观大火

174225

22017高考

136806

3成都老火锅店被查

121729

4海边直播发现浮尸

86157

5苹果开发者大会

78140

66万斤鱼缺氧死亡

68984

7北控外援训练猝死

50687

8武汉男子裸体捅人

45810

9多国与卡塔尔断交

44475

10美驻华外交官辞职

44394

电影

排名关键词搜索指数

1神奇女侠

40981

2异星觉醒

15245