Python数据分析之真实IP请求Pandas详解
前言
pandas是基于Numpy构建的含有更高级数据结构和工具的数据分析包类似于Numpy的核心是ndarray,pandas也是围绕着Series和DataFrame两个核心数据结构展开的。Series和DataFrame分别对应于一维的序列和二维的表结构。pandas约定俗成的导入方法如下:
frompandasimportSeries,DataFrame importpandasaspd
1.1.Pandas分析步骤
1、载入日志数据
2、载入area_ip数据
3、将real_ip请求数进行COUNT。类似如下SQL:
SELECTinet_aton(l.real_ip), count(*), a.addr FROMlogASl INNERJOINarea_ipASa ONa.start_ip_num<=inet_aton(l.real_ip) ANDa.end_ip_num>=inet_aton(l.real_ip) GROUPBYreal_ip ORDERBYcount(*) LIMIT0,100;
1.2.代码
catpd_ng_log_stat.py #!/usr/bin/envpython #-*-coding:utf-8-*- fromng_line_parserimportNgLineParser importpandasaspd importsocket importstruct classPDNgLogStat(object): def__init__(self): self.ng_line_parser=NgLineParser() def_log_line_iter(self,pathes): """解析文件中的每一行并生成一个迭代器""" forpathinpathes: withopen(path,'r')asf: forindex,lineinenumerate(f): self.ng_line_parser.parse(line) yieldself.ng_line_parser.to_dict() def_ip2num(self,ip): """用于IP转化为数字""" ip_num=-1 try: #将IP转化成INT/LONG数字 ip_num=socket.ntohl(struct.unpack("I",socket.inet_aton(str(ip)))[0]) except: pass finally: returnip_num def_get_addr_by_ip(self,ip): """通过给的IP获得地址""" ip_num=self._ip2num(ip) try: addr_df=self.ip_addr_df[(self.ip_addr_df.ip_start_num<=ip_num)& (ip_num<=self.ip_addr_df.ip_end_num)] addr=addr_df.at[addr_df.index.tolist()[0],'addr'] returnaddr except: returnNone defload_data(self,path): """通过给的文件路径加载数据生成DataFrame""" self.df=pd.DataFrame(self._log_line_iter(path)) defuv_real_ip(self,top=100): """统计cdnip量""" group_by_cols=['real_ip']#需要分组的列,只计算和显示该列 #直接统计次数 url_req_grp=self.df[group_by_cols].groupby( self.df['real_ip']) returnurl_req_grp.agg(['count'])['real_ip'].nlargest(top,'count') defuv_real_ip_addr(self,top=100): """统计realip地址量""" cnt_df=self.uv_real_ip(top) #添加ip地址列 cnt_df.insert(len(cnt_df.columns), 'addr', cnt_df.index.map(self._get_addr_by_ip)) returncnt_df defload_ip_addr(self,path): """加载IP""" cols=['id','ip_start_num','ip_end_num', 'ip_start','ip_end','addr','operator'] self.ip_addr_df=pd.read_csv(path,sep='\t',names=cols,index_col='id') returnself.ip_addr_df defmain(): file_pathes=['www.ttmark.com.access.log'] pd_ng_log_stat=PDNgLogStat() pd_ng_log_stat.load_data(file_pathes) #加载ip地址 area_ip_path='area_ip.csv' pd_ng_log_stat.load_ip_addr(area_ip_path) #统计用户真实IP访问量和地址 printpd_ng_log_stat.uv_real_ip_addr() if__name__=='__main__': main()
运行统计和输出结果
pythonpd_ng_log_stat.py countaddr real_ip 60.191.123.80101013浙江省杭州市 -32691None 218.30.118.7922523北京市 ...... 136.243.152.18889德国 157.55.39.219889美国 66.249.65.170888美国 [100rowsx2columns]
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作带来一定的帮助,如果有疑问大家可以留言交流。