Python数据分析之真实IP请求Pandas详解
前言
pandas是基于Numpy构建的含有更高级数据结构和工具的数据分析包类似于Numpy的核心是ndarray，pandas也是围绕着Series和DataFrame两个核心数据结构展开的。Series和DataFrame分别对应于一维的序列和二维的表结构。pandas约定俗成的导入方法如下：
frompandasimportSeries,DataFrame importpandasaspd
1.1.Pandas分析步骤
1、载入日志数据
2、载入area_ip数据
3、将real_ip请求数进行COUNT。类似如下SQL:
SELECTinet_aton(l.real_ip), count(*), a.addr FROMlogASl INNERJOINarea_ipASa ONa.start_ip_num<=inet_aton(l.real_ip) ANDa.end_ip_num>=inet_aton(l.real_ip) GROUPBYreal_ip ORDERBYcount(*) LIMIT0,100;
1.2.代码
catpd_ng_log_stat.py
#!/usr/bin/envpython
#-*-coding:utf-8-*-
fromng_line_parserimportNgLineParser
importpandasaspd
importsocket
importstruct
classPDNgLogStat(object):
def__init__(self):
self.ng_line_parser=NgLineParser()
def_log_line_iter(self,pathes):
"""解析文件中的每一行并生成一个迭代器"""
forpathinpathes:
withopen(path,'r')asf:
forindex,lineinenumerate(f):
self.ng_line_parser.parse(line)
yieldself.ng_line_parser.to_dict()
def_ip2num(self,ip):
"""用于IP转化为数字"""
ip_num=-1
try:
#将IP转化成INT/LONG数字
ip_num=socket.ntohl(struct.unpack("I",socket.inet_aton(str(ip)))[0])
except:
pass
finally:
returnip_num
def_get_addr_by_ip(self,ip):
"""通过给的IP获得地址"""
ip_num=self._ip2num(ip)
try:
addr_df=self.ip_addr_df[(self.ip_addr_df.ip_start_num<=ip_num)&
(ip_num<=self.ip_addr_df.ip_end_num)]
addr=addr_df.at[addr_df.index.tolist()[0],'addr']
returnaddr
except:
returnNone
defload_data(self,path):
"""通过给的文件路径加载数据生成DataFrame"""
self.df=pd.DataFrame(self._log_line_iter(path))
defuv_real_ip(self,top=100):
"""统计cdnip量"""
group_by_cols=['real_ip']#需要分组的列,只计算和显示该列
#直接统计次数
url_req_grp=self.df[group_by_cols].groupby(
self.df['real_ip'])
returnurl_req_grp.agg(['count'])['real_ip'].nlargest(top,'count')
defuv_real_ip_addr(self,top=100):
"""统计realip地址量"""
cnt_df=self.uv_real_ip(top)
#添加ip地址列
cnt_df.insert(len(cnt_df.columns),
'addr',
cnt_df.index.map(self._get_addr_by_ip))
returncnt_df
defload_ip_addr(self,path):
"""加载IP"""
cols=['id','ip_start_num','ip_end_num',
'ip_start','ip_end','addr','operator']
self.ip_addr_df=pd.read_csv(path,sep='\t',names=cols,index_col='id')
returnself.ip_addr_df
defmain():
file_pathes=['www.ttmark.com.access.log']
pd_ng_log_stat=PDNgLogStat()
pd_ng_log_stat.load_data(file_pathes)
#加载ip地址
area_ip_path='area_ip.csv'
pd_ng_log_stat.load_ip_addr(area_ip_path)
#统计用户真实IP访问量和地址
printpd_ng_log_stat.uv_real_ip_addr()
if__name__=='__main__':
main()
运行统计和输出结果
pythonpd_ng_log_stat.py countaddr real_ip 60.191.123.80101013浙江省杭州市 -32691None 218.30.118.7922523北京市 ...... 136.243.152.18889德国 157.55.39.219889美国 66.249.65.170888美国 [100rowsx2columns]
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作带来一定的帮助，如果有疑问大家可以留言交流。