python爬虫爬取监控教务系统的思路详解
这几天考了大大小小几门课，教务系统又没有成绩通知功能，为了急切想知道自己挂了多少门，于是我写下这个脚本。
设计思路：
设计思路很简单，首先对已有的成绩进行处理，变为list集合，然后定时爬取教务系统查成绩的页面，对爬取的成绩也处理成list集合，如果newList的长度增加了，就找出增加的部分，并通过邮件通知我。
脚本运行效果：
服务器：
发送邮件通知：
代码如下：
importdatetime
importtime
fromemail.headerimportHeader
importrequests
importre
importsmtplib
fromemail.mime.textimportMIMEText
frombs4importBeautifulSoup
deflistener():
#在这里我通过模拟登陆的方式登陆
#一般来说这里填写的是username跟password
#但我们学校后台将用户名和密码进行了加密
#通过观察浏览器的请求数据跟页面源码猜出学校后台的加密方式
data={
#出于学校安全考虑，这里就不给出加密方式了
'encoded':'xxxxxxxxxxxxxxxxxxx'
}
session=requests.Session()
session.post('http://jwc.sgu.edu.cn/jsxsd/xk/LoginToXk',data=data)
#请求2019-2020-1学期的所有成绩
r_data={
'kksj':'2019-2020-1',
'kcxz':'',
'kcmc':'',
'xsfs':'all'
}
r=session.post('http://jwc.sgu.edu.cn/jsxsd/kscj/cjcx_list',data=r_data)
#对爬回来数据进行封装
soup=BeautifulSoup(r.text,'html.parser')
#返回已有的成绩列表
oldList=toList(soup)
max=len(oldList)
#这里用死循环定时爬取成绩页面分析是否分布新成绩
while(True):
#post跟get方式不能乱用，不然数据会出错
r=session.post('http://jwc.sgu.edu.cn/jsxsd/kscj/cjcx_list',data=r_data)
soup=BeautifulSoup(r.text,'lxml')
#print(soup.prettify())
length=len(soup.find_all(string=re.compile('2019-2020-1')))-1
print("course_length:",length)
if(r.status_code==200andlength!=0):
if(length>max):
#查询新出的成绩列表
newlist=toList(soup)
#获取两个列表不同之处，不同的就是新成绩
diflist=compareTwoList(oldList,newlist)
oldList=newlist
ifdiflist=='':
send("unkownedError","unkownedError")
else:
#有新成绩了，发送邮件通知我
send('youhavenewcoursesorce!!',diflist)
max=length
print('lastrunningtimewas:',datetime.datetime.now())
#定时作用，500s查一次
time.sleep(500)
else:
#发送邮件断开连接了print("haddisconnected...")
send("yourserverisdisconnected!!!","yourserverisdisconnected!!!")
break
defsend(title,msg):
mail_host='smtp.qq.com'
#你的qq邮箱名，没有.com
mail_user='你的qq邮箱名，没有.com'
#密码(部分邮箱为授权码)
mail_pass='授权码'
#邮件发送方邮箱地址
sender='发送方邮箱地址'
#邮件接受方邮箱地址，注意需要[]包裹，这意味着你可以写多个邮件地址群发
receivers=['yoletpig@qq.com']
#设置email信息
#邮件内容设置
message=MIMEText(msg,'plain','utf-8')
#邮件主题
message['Subject']=Header(title,'utf-8')
#发送方信息
message['From']=sender
#接受方信息
message['To']=receivers[0]
#登录并发送邮件
try:
#smtpObj=smtplib.SMTP()
##连接到服务器
#smtpObj.connect(mail_host,25)
smtpObj=smtplib.SMTP_SSL(mail_host)
#登录到服务器
smtpObj.login(mail_user,mail_pass)
#发送
smtpObj.sendmail(
sender,receivers,message.as_string())
#退出
smtpObj.quit()
print('success')
exceptsmtplib.SMTPExceptionase:
print('error',e)#打印错误
deftoList(soup):
flag=True
list=[]
strs=''
#对tr标签下的td进行遍历并取值
fortrinsoup.find_all('tr'):
ifflag:
flag=False;
continue
i=1
fortdintr.stripped_strings:
if(i==1ori==2):
i+=1
continue
strs+="_"+td
i+=1
list.append(strs)
strs=''
returnlist
defcompareTwoList(oldList,newList):
diflist=''
forsubinnewList:
#判断是否唯一
if(oldList.count(sub)==0):
diflist=sub
break
returndiflist
if__name__=='__main__':
listener()
这个脚本不出意外的话要运行到我所有成绩出来为止，但我电脑肯定不会这么多天不关机呀，于是我就将这个脚本放到服务器上运行，如何在ubuntu下运行python文件，大家可以看一下我的另一篇文章：
yoletPig的博客：Ubuntu下运行python文件
总结
以上所述是小编给大家介绍的python爬虫爬取监控教务系统的思路详解，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。