Java基于WebMagic爬取某豆瓣电影评论的实现

2023-07-04 20:31:05 177

目的

搭建爬虫平台，爬取某豆瓣电影的评论信息。

准备

webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。

下载WebMagic源码，或Maven导入，或Jar包方式导入。码云地址：https://gitee.com/flashsword20/webmagic

试运行

搭建好后打开项目，在 us.codecraft.webmagic.processor.example 包下有几个可运行的例子，我们可以直接运行体验（BaiduBaikePageProcessor百度百科的这个比较稳定）。

爬到结果说明没问题。

自定义爬虫

接下来我们自己编写一个爬取豆瓣评论的爬虫。

爬取地址：https://movie.douban.com/subject/35096844/reviews?start=0

F12进入开发者模式分析前端页面

我们发现我们需要爬取的评论信息存放在class=short-content的div中。

创建一个豆瓣爬取的类DoubanPageProcessor如下：

packageus.codecraft.webmagic.processor.example;

importus.codecraft.webmagic.Page;
importus.codecraft.webmagic.ResultItems;
importus.codecraft.webmagic.Site;
importus.codecraft.webmagic.Spider;
importus.codecraft.webmagic.processor.PageProcessor;

importjava.util.List;
importjava.util.Map;

/**
*AsimplePageProcessor.
*爬取豆瓣某电影的评论爬取地址：https://movie.douban.com/subject/35096844/reviews?start=0
*
*@authorcode4crafter@gmail.com

*@since0.1.0
*/
publicclassDoubanPageProcessorimplementsPageProcessor{

privateSitesite;

publicDoubanPageProcessor(StringurlPattern){
this.site=Site.me().setRetryTimes(3).setSleepTime(300);//设置站点重试次数3间隔300ms
}

@Override
publicvoidprocess(Pagepage){
page.putField("title",page.getHtml().xpath("//title/text()"));//爬取网页标题
//page.putField("html",page.getHtml().toString());//爬取整个页面的html
page.putField("titleList",page.getHtml().css("div.short-content","text").all());//我们要爬取的核心信息内容，获取方式与css选择器用法一样
//page.putField("content",page.getHtml().smartContent());
}

@Override
publicSitegetSite(){
//settings
returnsite;
}

publicstaticvoidmain(String[]args){

Spiderspider=Spider.create(newDoubanPageProcessor("https://movie\\.douban\\.com\\d+"));
ResultItemsresultItems=spider.get("https://movie.douban.com/subject/35096844/reviews?start=0");//爬取并获得爬取结果
Mapmap=resultItems.getAll();
for(Map.Entryentry:map.entrySet()){
System.out.println(entry.getKey()+":"+entry.getValue());//打印爬取的所有内容
}
ListshortList=(List)map.get("titleList");
System.out.println("=====================分隔线===================\n短评如下：");
for(inti=0;i
运行结果如下：

爬取成功。
到此这篇关于Java基于WebMagic爬取某豆瓣电影评论的实现的文章就介绍到这了,更多相关JavaWebMagic爬取内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

Java基于WebMagic爬取某豆瓣电影评论的实现

目的

准备

试运行

自定义爬虫

热门推荐

随机推荐