Python数据分析之获取双色球历史信息的方法示例
本文实例讲述了Python数据分析之获取双色球历史信息的方法。分享给大家供大家参考，具体如下：
每个人都有一颗中双色球大奖的心，对于技术人员来说，通过技术分析，可以增加中奖几率，现使用python语言收集历史双色球中奖信息，之后进行预测分析。
说明：采用2016年5月15日获取的双色球数据为基础进行分析，总抽奖数1940次。
初级代码，有些内容比较繁琐，有更好的代码，大家可以分享。
#!/usr/bin/python
#-*-coding:UTF-8-*-
#coding:utf-8
#author:levycui
#date:20160513
#Description:双色球信息收集
importurllib2
frombs4importBeautifulSoup#采用BeautifulSoup
importos
importre
#伪装成浏览器登陆,获取网页源代码
defgetPage(href):
headers={
'User-Agent':'Mozilla/5.0(Windows;U;WindowsNT6.1;en-US;rv:1.9.1.6)Gecko/20091201Firefox/3.5.6'
}
req=urllib2.Request(
url=href,
headers=headers
)
try:
post=urllib2.urlopen(req)
excepturllib2.HTTPError,e:
printe.code
printe.reason
returnpost.read()
#初始化url双色球首页
url='http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html'
#===============================================================================
#获取url总页数
defgetPageNum(url):
num=0
page=getPage(url)
soup=BeautifulSoup(page)
strong=soup.find('td',colspan='7')
#printstrong
ifstrong:
result=strong.get_text().split('')
#printresult
list_num=re.findall("[0-9]{1}",result[1])
#printlist_num
foriinrange(len(list_num)):
num=num*10+int(list_num[i])
returnnum
else:
return0
#===============================================================================
#获取每页双色球的信息
defgetText(url):
forlist_numinrange(1,getPageNum(url)):#从第一页到第getPageNum(url)页
printlist_num#打印下页码
href='http://kaijiang.zhcw.com/zhcw/html/ssq/list_'+str(list_num)+'.html'#调用新url链接
#forlistnuminlen(list_num):
page=BeautifulSoup(getPage(href))
em_list=page.find_all('em')#匹配em内容
div_list=page.find_all('td',{'align':'center'})#匹配这样的内容
#初始化n
n=0
#将双色球数字信息写入num.txt文件
fp=open("num.txt","w")
fordivinem_list:
emnum1=div.get_text()
#printemnum1
text=div.get_text()
text=text.encode('utf-8')
#printtitle
n=n+1
ifn==7:
text=text+"\n"
n=0
else:
text=text+","
fp.write(str(text))
fp.close()
#将日期信息写入date.txt文件
fp=open("date.txt","w")
fordivindiv_list:
text=div.get_text().strip('')
#printtext
list_num=re.findall('\d{4}-\d{2}-\d{2}',text)
list_num=str(list_num[::1])
list_num=list_num[3:13]
iflen(list_num)==0:
continue
eliflen(list_num)>1:
fp.write(str(list_num)+'\n')
fp.close()
#将num.txt和date.txt文件进行整合写入hun.txt文件中
#格式如下：
#('2016-05-03','09,12,24,28,29,30,02')
#('2016-05-01','06,08,13,14,22,27,10')
#('2016-04-28','03,08,13,14,15,30,04')
#
fp01=open("date.txt","r")
a=[]
forline01infp01:
a.append(line01.strip('\n'))
#printa
fp01.close()
fp02=open("num.txt","r")
b=[]
forline02infp02:
b.append(line02.strip('\n'))
#printb
fp02.close()
fp=open("hun.txt","a")
forccinzip(a,b):#使用zip方法合并
printcc
fp.write(str(cc)+'\n')
fp.close()
#===============================================================================
if__name__=="__main__":
pageNum=getPageNum(url)
printpageNum
getpagetext=getText(url)
printgetpagetext
数据样例：
('2015-03-03','09,11,16,18,23,24,10')
('2015-03-01','08,09,10,13,29,30,01')
('2015-02-26','04,07,10,16,23,25,10')
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python数学运算技巧总结》、《Python字符串操作技巧汇总》、《Python编码操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。