Selenium+BeautifulSoup+json获取Script标签内的json数据
Selenium爬虫遇到数据是以JSON字符串的形式包裹在Script标签中,
假设Script标签下代码如下:
{ "user":{ "isLogin":true, "userInfo":{ "id":123456, "nickname":"LiMing", "intro":"人生苦短,我用python" } } }
此时drive.find_elements_by_xpath('//*[@id="DATA_INFO"]只能定位到元素,但是无法通过.text方法,获取Script标签下的json数据
frombs4importBeautifulSoupasbs
importjsonasjs
#selenium获取当前页面源码
html=drive.page_source
#BeautifulSoup转换页面源码
bs=BeautifulSoup(html,'lxml')
#获取Script标签下的完整json数据,并通过json加载成字典格式
js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text())
#获取Script标签下的nickname值
js_tes
到此这篇关于Selenium+BeautifulSoup+json获取Script标签内的json数据的文章就介绍到这了,更多相关Selenium+BeautifulSoup获取json内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票!
热门推荐
1 训练狗狗憋尿
2 狗狗追踪训练
3 狗狗训练要多少钱
5 深圳狗狗训练
6 训练狗狗唤回
7 狗狗叫怎么训练
8 狗狗训练班
10 狗狗社会化训练
11 狗狗叫回训练
12 广州狗狗训练学校
13 狗狗训练躺下
14 狗狗随行训练
15 训练狗狗巡回
16 狗狗要怎么训练
17 狗狗喂食训练
18 训练狗狗躺下