Python DataFrame.groupby()聚合函数,分组级运算
pandas提供了一个灵活高效的groupby功能，它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象。计算分组摘要统计，如计数、平均值、标准差，或用户自定义函数。对DataFrame的列应用各种各样的函数。应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其他分组分析。
groupby分组函数：
返回值：返回重构格式的DataFrame，特别注意，groupby里面的字段内的数据重构后都会变成索引
groupby(),一般和sum()、mean()一起使用，如下例：
先自定义生成数组
importpandasaspd
df=pd.DataFrame({'key1':list('ababa'),
'key2':['one','two','one','two','one'],
'data1':np.random.randn(5),
'data2':np.random.randn(5)})
print(df)
data1data2key1key2
0-1.313101-0.453361aone
10.7914631.096693btwo
20.4626111.150597aone
3-0.2161211.381333btwo
40.077367-0.282876aone
应用groupby,分组键均为Series(譬如df[‘xx'])，实际上分组键可以是任何长度适当的数组
#将df['data1']按照分组键为df['key1']进行分组
grouped=df['data1'].groupby(df['key1'])
print(grouped.mean())
key1
a-0.257707
b0.287671
Name:data1,dtype:float64
states=np.array(['Ohio','California','California','Ohio','Ohio'])
years=np.array([2005,2005,2006,2005,2006])
#states第一层索引，years第二层分层索引
print(df['data1'].groupby([states,years]).mean())
California20050.791463
20060.462611
Ohio2005-0.764611
20060.077367
Name:data1,dtype:float64
#df根据‘key1'分组，然后对df剩余数值型的数据运算
df.groupby('key1').mean()
data1data2
key1
a-0.2577070.138120
b0.2876711.239013
#可以看出没有key2列，因为df[‘key2']不是数值数据，所以被从结果中移除。默认情况下，所有数值列都会被聚合，虽然有时可能被过滤为一个子集。
对分组进行迭代
#name就是groupby中的key1的值，group就是要输出的内容
forname,groupindf.groupby('key1'):
print(name,group)
adata1data2key1key2
0-1.313101-0.453361aone
20.4626111.150597aone
40.077367-0.282876aone
bdata1data2key1key2
10.7914631.096693btwo
3-0.2161211.381333btwo
对groupby后的内容进行操作，可转换成字典
#转化为字典
piece=dict(list(df.groupby('key1')))
{'a':data1data2key1key2
0-1.313101-0.453361aone
20.4626111.150597aone
40.077367-0.282876aone,'b':data1data2key1key2
10.7914631.096693btwo
3-0.2161211.381333btwo}
#对字典取值
value=piece['a']
groupby默认是在axis=0上进行分组的，通过设置也可以在其他任何轴上进行分组
grouped=df.groupby(df.dtypes,axis=1)
value=dict(list(grouped))
print(value)
{dtype('float64'):data1data2
0-1.313101-0.453361
10.7914631.096693
20.4626111.150597
3-0.2161211.381333
40.077367-0.282876,dtype('O'):key1key2
0aone
1btwo
2aone
3btwo
4aone}
对于大数据，很多情况是只需要对部分列进行聚合
#对df进行'key1'，'key2'的两次分组，然后取data2的数据，对两次细分的分组数据取均值 value=df.groupby(['key1','key2'])[['data2']].mean() data2 key1key2 aone0.138120 btwo1.239013 ---------------------------------- df Out[1]: data1data2key1key2 0-1.313101-0.453361aone 10.7914631.096693btwo 20.4626111.150597aone 3-0.2161211.381333btwo 40.077367-0.282876aone ---------------------------------- df['key2'].iloc[-1]='two' value=df.groupby(['key1','key2'])[['data2']].mean() value Out[2]: data2 key1key2 aone0.348618 two-0.282876 btwo1.239013
Python中的分组函数（groupby、itertools）
fromoperatorimportitemgetter#itemgetter用来去dict中的key，省去了使用lambda函数
fromitertoolsimportgroupby#itertool还包含有其他很多函数，比如将多个list联合起来。。
d1={'name':'zhangsan','age':20,'country':'China'}
d2={'name':'wangwu','age':19,'country':'USA'}
d3={'name':'lisi','age':22,'country':'JP'}
d4={'name':'zhaoliu','age':22,'country':'USA'}
d5={'name':'pengqi','age':22,'country':'USA'}
d6={'name':'lijiu','age':22,'country':'China'}
lst=[d1,d2,d3,d4,d5,d6]
#通过country进行分组：
lst.sort(key=itemgetter('country'))#需要先排序，然后才能groupby。lst排序后自身被改变
lstg=groupby(lst,itemgetter('country'))
#lstg=groupby(lst,key=lambdax:x['country'])等同于使用itemgetter()
forkey,groupinlstg:
forgingroup:#group是一个迭代器，包含了所有的分组列表
printkey,g
返回：
China{'country':'China','age':20,'name':'zhangsan'}
China{'country':'China','age':22,'name':'lijiu'}
JP{'country':'JP','age':22,'name':'lisi'}
USA{'country':'USA','age':19,'name':'wangwu'}
USA{'country':'USA','age':22,'name':'zhaoliu'}
USA{'country':'USA','age':22,'name':'pengqi'}
print[keyforkey,groupinlstg]#返回：['China','JP','USA']
print[(key,list(group))forkey,groupinlstg]
#返回的list中包含着三个元组：
[('China',[{'country':'China','age':20,'name':'zhangsan'},{'country':'China','age':22,'name':'lijiu'}]),('JP',[{'country':'JP','age':22,'name':'lisi'}]),('USA',[{'country':'USA','age':19,'name':'wangwu'},{'country':'USA','age':22,'name':'zhaoliu'},{'country':'USA','age':22,'name':'pengqi'}])]
printdict([(key,list(group))forkey,groupinlstg])
#返回的是一个字典：
{'JP':[{'country':'JP','age':22,'name':'lisi'}],'China':[{'country':'China','age':20,'name':'zhangsan'},{'country':'China','age':22,'name':'lijiu'}],'USA':[{'country':'USA','age':19,'name':'wangwu'},{'country':'USA','age':22,'name':'zhaoliu'},{'country':'USA','age':22,'name':'pengqi'}]}
printdict([(key,len(list(group)))forkey,groupinlstg])
#返回每个分组的个数：
{'JP':1,'China':2,'USA':3}
#返回包含有2个以上元素的分组
print[keyforkey,groupingroupby(sorted(lst,key=itemgetter('country')),itemgetter('country'))iflen(list(group))>=2]
#返回：['China','USA']
lstg=groupby(sorted(lst,key=itemgetter('country')),key=itemgetter('country'))
lstgall=[(key,list(group))forkey,groupinlstg]
printdict(filter(lambdax:len(x[1])>2,lstgall))
#过滤出分组后的元素个数大于2个的分组，返回：
{'USA':[{'country':'USA','age':19,'name':'wangwu'},{'country':'USA','age':22,'name':'zhaoliu'},{'country':'USA','age':22,'name':'pengqi'}]}
自定义分组：
fromitertoolsimportgroupby
lst=[2,8,11,25,43,6,9,29,51,66]
defgb(num):
ifnum<=10:
return'less'
elifnum>=30:
return'great'
else:
return'middle'
print[(k,list(g))fork,gingroupby(sorted(lst),key=gb)]
返回：
[('less',[2,6,8,9]),('middle',[11,25,29]),('great',[43,51,66])]
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对毛票票的支持。如果你想了解更多相关内容请查看下面相关链接