Java获取网页数据步骤方法详解
在很多行业当中,我们需要对行业进行分析,就需要对这个行业的数据进行分类,汇总,及时分析行业的数据,对于公司未来的发展,有很好的参照和横向对比。面前通过网络进行数据获取是一个很有效而且快捷的方式。
首先我们来简单的介绍一下,利用java对网页数据进行抓取的一些步骤,有不足的地方,还望指正,哈哈。屁话不多说了。
其实一般分为以下步骤:
1:通过HttpClient请求到达某网页的url访问地址(特别需要注意的是请求方式)
2:获取网页源码
3:查看源码是否有我们需要提取的数据
4:对源码进行拆解,一般使用分割,正则或者第三方jar包
5:获取需要的数据对自己创建的对象赋值
6:数据提取保存
下面简单的说一下在提取数据中的部分源码,以及用途:
/** *向指定URL发送GET方法的请求 * *@paramurl *发送请求的URL *@paramparam *请求参数,请求参数应该是name1=value1&name2=value2的形式。 *@returnURL所代表远程资源的响应结果 */ publicstaticStringsendGet(Stringurl,Stringparam){ Stringresult=""; BufferedReaderin=null; try{ StringurlNameString=url; URLrealUrl=newURL(urlNameString); //打开和URL之间的连接 URLConnectionconnection=realUrl.openConnection(); //设置通用的请求属性 connection.setRequestProperty("accept","*/*"); connection.setRequestProperty("connection","Keep-Alive"); connection.setRequestProperty("user-agent", "Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;SV1)"); //建立实际的连接 connection.connect(); //获取所有响应头字段 Map>map=connection.getHeaderFields(); //定义BufferedReader输入流来读取URL的响应 in=newBufferedReader(newInputStreamReader( connection.getInputStream()));//这里如果出现乱码,请使用带编码的InputStreamReader构造方法,将需要的编码设置进去 Stringline; while((line=in.readLine())!=null){ result+=line; } }catch(Exceptione){ System.out.println("发送GET请求出现异常!"+e); e.printStackTrace(); } //使用finally块来关闭输入流 finally{ try{ if(in!=null){ in.close(); } }catch(Exceptione2){ e2.printStackTrace(); } } returnresult; }
解析存储数据
publicBidgetData(Stringhtml)throwsException{ //获取的数据,存放在到Bid的对象中,自己可以重新建立一个对象存储 Bidbid=newBid(); //采用Jsoup解析 Documentdoc=Jsoup.parse(html); //System.out.println("doc内容"+doc.text()); //获取html标签中的内容tr Elementselements=doc.select("tr"); System.out.println(elements.size()+"****条"); //循环遍历数据 for(Elementelement:elements){ if(element.select("td").first()==null){ continue; } Elementstdes=element.select("td"); for(inti=0;i得到的数据
Bid{ h2='详见内容', itemName='诉讼服务中心设备采购', item='货物/办公消耗用品及类似物品/其他办公消耗用品及类似物品', itemUnit='详见内容', areaName='港北区', noticeTime='2018年10月22日18:41', itemNoticeTime='null', itemTime='null', kaibiaoTime='2018年10月26日09:00', winTime='null', kaibiaoDiDian='null', yusuanMoney='¥67.00元(人民币)', allMoney='null', money='null', text='' }以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。