python基于selenium爬取斗鱼弹幕
针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片
代码如下:
importtime
fromseleniumimportwebdriver
chrome_options=webdriver.ChromeOptions()
#使用headless无界面浏览器模式
#chrome_options.add_argument('--headless')
#chrome_options.add_argument('--disable-gpu')
prefs={"profile.managed_default_content_settings.images":2}
chrome_options.add_experimental_option("prefs",prefs)
browser=webdriver.Chrome(chrome_options=chrome_options)
url='https://www.douyu.com/'
defgetDanmu(homeId):
homeHref=url+str(homeId)
browser.get(homeHref)
while1:
time.sleep(2)
try:
foriinbrowser.find_elements_by_xpath('.//div[@class="danmu-6e95c1"]/div/div'):
iflen(i.text)>0:
try:
print(i.text)
except:
pass
saveDanmu(i.text)
else:
continue
except:
time.sleep(2)
foriinbrowser.find_elements_by_xpath('.//div[@class="danmu-6e95c1"]/div/div'):
iflen(i.text)>0:
try:
print(i.text)
except:
pass
saveDanmu(i.text)
else:
continue
defsaveDanmu(danmu):
withopen('danmu.txt','a+',encoding='utf-8')asf:
f.write(danmu+'\n')
if__name__=='__main__':
num=input('请输入需要查询的房间号:')
getDanmu(num)
以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python爬取斗鱼弹幕的资料请关注毛票票其它相关文章!
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。