selenium在执行phantomjs的API并获取执行结果的方法

2023-09-02 20:07:05 169

前言

因为最近要写一个抓取sitemap和相应的参数的小脚本，现有的爬虫无论用什么语言写的，几乎都无法抓取参数，所以我思考了一下，先做一个简单的总结。

本来以为写个这种sitemap的爬虫很简单，经过思考之后才发现其中的可怕之处，最关键的是参数的提取，这个太麻烦了。。。这个时候才发现AWVS的无敌和强大之处。。。

如果我们要获取网站的sitemap同时还要抓取对应链接的参数，我大概总结了url的几个来源：

1、页面上直接现有的form表单以及现有的href等指向的链接及参数，这个相对比较简单，不过要考虑post和get的问题。

2、由js生成的DOM中的form表单和href指向的链接

3、由js发起的访问请求，例如AJAX请求等

4、通过点击然后调用js发送请求，或是点击生成一个form或是生产一个DOM，然后再点击再由js发送请求。例如如下代码

5、通过setTimeout函数延迟触发的js的请求，例如setTimeout("request()",2000);，这一类我暂时还没有太好的办法解决，不过有初步的办法，后面会说到。

目前我大概想到这么五类，肯定还有没考虑到的地方，并且目前实际的代码还没有写出来，我先记录一下我的想法，要是有哪位师傅有兴趣请务必联系我。。。。orz。。

要解决上述的5个问题，因为我的工程的前半部分使用python写的，所以这里我需要用python来解决，那么最佳选择必然是selenium和phantomjs，其实比起来我更想用原生的phantomjs来写。

用phantomjs的话第一个和第二个问题不攻自破，直接正则匹配下来就行了，因为它会帮我们先把页面的js执行了。

第三个问题也相对比较好解决，我们通过原生phantomjs的APIonResourceRequested就能够监控所有从页面发出去的请求。

然后再来看第四个问题，我目前的想法应该没有办法彻底解决，我们同样可以用phantomjs向页面的所有的dom发送一个click事件，但是这样子的话时间是一个很大的问题，所以初步想法向所有具有onclick事件的标签发送点击事件

然后再来看第五个问题，这应该是最麻烦的一个，我初步的想法还是用onResourceRequested事件，然后设置一个超时时限，让页面执行个几秒钟，但是最后我还是放弃了这个想法，我决定忽视这个问题，因为如果每个页面都等上几秒那时间耗费不堆上天了。

以上就是我目前初步的一些思考，还有很多不成熟之处。

selenium与phantomjs联动的问题

之前一直知道有selenium这个东西，不够因为没有地方需要，也没有可以去学习，不过对phantomjs可能会稍微熟悉一些。

先写个简单的程序

fromseleniumimportwebdriver
service_args=[]
service_args.append('--load-images=no')##关闭图片加载
service_args.append('--disk-cache=yes')##开启缓存
service_args.append('--ignore-ssl-errors=true')##忽略https错误

d=webdriver.PhantomJS("phantomjs",service_args=service_args)
d.get("http://xxxxxxxxxxxxxxxxxxxxx")
printd.page_source
d.quit()

这样就可以发送get请求了。

问题一：没有post请求？

我觉得应该是我还了解的不够。不过翻了API，确实没有找到，希望大家能够指出我的错误，但我真的好像没有找到能够发送post请求的地方，真是蠢爆了。。

这里我想到了两种方法解决，先说一种，第二种留到后面说。

就是用requests库递交post请求，拿下来的cookie,调用add_cookie函数给它，然后让它带着cookie发送get请求就好了。

样例如下

fromseleniumimportwebdriver
importrequests
r=requests.session()

service_args=[]
service_args.append('--load-images=no')##关闭图片加载
service_args.append('--disk-cache=yes')##开启缓存
service_args.append('--ignore-ssl-errors=true')##忽略https错误

d=webdriver.PhantomJS("phantomjs",service_args=service_args)

data={
"username":"123",
"password":"123",
"login":"1"
}

result=r.post("http://127.0.0.1:8000/web/login.php",data=data)
cookies=r.cookies.get_dict()
foriincookies:
d.add_cookie({
'name':i,
'value':cookies[i],
'path':'/',
'domain':'127.0.0.1'
})
d.get("http://127.0.0.1:8000/web/index.php")
printd.page_source
d.quit()

另外这个add_cookie函数还比较刁钻，还要把path和domain都设置好，不然有时会报错。

第二个方法的话，我们知道，如果用原生PhantomJS的话，我们可以很容易递交post请求，比如如下：

varwebPage=require('webpage');
varpage=webPage.create();

varsettings={
operation:"POST",
header:{},
data:"username=123&password=123&login=1"
};
page.open('http://127.0.0.1:8000/web/login.php',settings,function(status){
//console.log(page.content);
for(vari=0;i
所以我们想办法就是直接在Selenium中让PhantomJS执行它的API就可以了，这里不贴了，看完下一小节就知道怎么写了。
问题二：在Selenium中获取PhantomJS的API的执行结果？
还好Selenium带了个get_log函数，比如我监控'http://127.0.0.1:8000/web/index.php‘页面向外发送的所有请求，如果用原生的phantomjs，很好办，如下：
varwebPage=require('webpage');
varpage=webPage.create();

page.onResourceRequested=function(request){
console.log('Request'+request.url);
};
...........
...........

所以我们直接在Selenium中调用PhantomJS的API就好了。如下
fromseleniumimportwebdriver
importrequests
r=requests.session()

service_args=[]
service_args.append('--load-images=no')##关闭图片加载
service_args.append('--disk-cache=yes')##开启缓存
service_args.append('--ignore-ssl-errors=true')##忽略https错误

d=webdriver.PhantomJS("phantomjs",service_args=service_args)

data={
"username":"123",
"password":"123",
"login":"1"
}

result=r.post("http://127.0.0.1:8000/web/login.php",data=data)
cookies=r.cookies.get_dict()
foriincookies:
d.add_cookie({
'name':i,
'value':cookies[i],
'path':'/',
'domain':'127.0.0.1'
})
script="varpage=this;page.onResourceRequested=function(request){console.log(request.url);};"
d.command_executor._commands['executePhantomScript']=('POST','/session/$sessionId/phantom/execute')
d.execute('executePhantomScript',{'script':script,'args':[]})

d.get("http://127.0.0.1:8000/web/index.php")
printd.page_source
d.quit()

这里上述代码确实能够实时执行，但是就这样写的话没有办法获取到结果。
这里需要用到一个get_log函数，改进如下：
fromseleniumimportwebdriver
importrequests
r=requests.session()

service_args=[]
service_args.append('--load-images=no')##关闭图片加载
service_args.append('--disk-cache=yes')##开启缓存
service_args.append('--ignore-ssl-errors=true')##忽略https错误

d=webdriver.PhantomJS("phantomjs",service_args=service_args)

data={
"username":"123",
"password":"123",
"login":"1"
}

result=r.post("http://127.0.0.1:8000/web/login.php",data=data)
cookies=r.cookies.get_dict()
foriincookies:
d.add_cookie({
'name':i,
'value':cookies[i],
'path':'/',
'domain':'127.0.0.1'
})
script="varpage=this;page.onResourceRequested=function(request){page.browserLog.push(request.url);};"
d.command_executor._commands['executePhantomScript']=('POST','/session/$sessionId/phantom/execute')
d.execute('executePhantomScript',{'script':script,'args':[]})

d.get("http://127.0.0.1:8000/web/index.php")
printd.page_source
printd.get_log('browser')
d.quit()


在js脚本中我们调用page.browserLog.push,然后在python脚本中我们get_log('browser')去获取就可以实现相互沟通，当然肯定还有别的办法，不过我没有找到。。。。僵硬了。。。。
后记
再说这个抓取sitemap和请求参数的小脚本，想了想还是觉得非常麻烦，虽然几个问题都有了相应的解决办法，也不管好坏，加上今天稍微研究了一下python调用phantom的优化，还是稍微有点信心了，但是感觉要整合到一起来还是会很麻烦，效率问题是一个，能否真正准确抓取完整又是另一个，慢慢来把，没想到最初觉得不是问题的问题最后却成了我最大的麻烦之一。。僵硬。。。最后还要说的是原声的phantomjs真的比selenium去调用舒服得多。。。现在想来要是最开始想把每个环节思考一下就好了，要是思考了大概就不会用python了，大概会用nodejs，对了，最近稍微研究了一下nodejs的一些渗透和攻击方法，后续整理一下分享出来，希望师傅们能够帮忙指点指点。
以上这篇selenium在执行phantomjs的API并获取执行结果的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。

selenium在执行phantomjs的API并获取执行结果的方法

热门推荐

随机推荐