DataFrame 数据合并实现(merge，join，concat)
merge
merge函数通过一个或多个键将数据集的行连接起来。
场景：针对同一个主键存在的两张包含不同特征的表，通过主键的链接，将两张表进行合并。合并之后，两张表的行数不增加，列数是两张表的列数之和。
defmerge(left,right,how='inner',on=None,left_on=None,right_on=None,
left_index=False,right_index=False,sort=False,
suffixes=('_x','_y'),copy=True,indicator=False,
validate=None):
| 参数 | 描述 |
|---|---|
| how | 数据融合的方法，从在不重合的键，方式（inner、outer、left、right） |
| on | 用来对齐的列名，一定要保证左表和右表存在相同的列名。 |
| left_on | 左表对齐的列，可以是列名。也可以是DataFrame同长度的arrays |
| right_on | 右表对齐的列，可以是列名。 |
| left_index | 将左表的index用作连接键 |
| right_index | 将右表的index用作连接键 |
| suffixes | 左右对象中存在重名列，结果区分的方式，后缀名。 |
| copy | 默认：True。将数据复制到数据结构中，设置为False提高性能。 |
特性示例(1)
默认：以重叠的列名当作连接键
df1=pd.DataFrame({'key':['one','two','two'],
'data1':np.arange(3)})
df2=pd.DataFrame({'key':['one','three','three'],
'data2':np.arange(3)})
df3=pd.merge(df1,df2)
print(df1)
print(df2)
print(df3)
keydata1 0one0 1two1 2two2 keydata2 0one0 1three1 2three2 keydata1data2 0one00
特性示例(2)
默认：做inner连接，取key的交集
连接方式还有leftrightouter
df1=pd.DataFrame({'key':['one','two','two'],
'data1':np.arange(3)})
df2=pd.DataFrame({'key':['one','three','three'],
'data2':np.arange(3)})
df3=pd.merge(df1,df2)
df4=pd.merge(df1,df2,how='left')
print(df3)
print(df4)
keydata1data2 0one00 keydata1data2 0one00.0 1two1NaN 2two2NaN
特性示例(3)
多键连接时将连接键做成列表传入。
on默认是两者同时存在的列
df1=pd.DataFrame({'key':['one','two','two'],
'value':['a','b','c'],
'data1':np.arange(3)})
df2=pd.DataFrame({'key':['one','two','three'],
'value':['a','c','c'],
'data2':np.arange(3)})
df5=pd.merge(df1,df2)
df6=pd.merge(df1,df2,on=['key','value'],how='outer')
print(df5)
print(df6)
keyvaluedata1data2 0onea00 1twoc21 keyvaluedata1data2 0onea0.00.0 1twob1.0NaN 2twoc2.01.0 3threecNaN2.0
特性示例(4)
两个对象的列名不同，需要分别制定。
df7=pd.merge(df1,df2,left_on=['key1','data1'],right_on=['key2','data2'],how='outer') print(df7)
key1value_xdata1key2value_ydata2 0onea0.0onea0.0 1twob1.0twoc1.0 2twoc2.0NaNNaNNaN 3NaNNaNNaNthreec2.0
join
join方法将两个DataFrame中不同的列索引合并成为一个DataFrame
参数的意义与merge基本相同，只是join方法默认左外连接how=left
defjoin(self,other,on=None,how='left',lsuffix='',rsuffix='', sort=False):
示例
df1=pd.DataFrame({'A':['A0','A1','A1'],
'B':['B0','B1','B2']},
index=['K0','K1','K2'])
df2=pd.DataFrame({'C':['C1','C2','C3'],
'D':['D0','D1','D2']},
index=['K0','K1','K3'])
df3=df1.join(df2)
df4=df1.join(df2,how='outer')
df5=df1.join(df2,how='inner')
print(df3)
print(df4)
print(df5)
ABCD K0A0B0C1D0 K1A1B1C2D1 K2A1B2NaNNaN ABCD K0A0B0C1D0 K1A1B1C2D1 K2A1B2NaNNaN K3NaNNaNC3D2 ABCD K0A0B0C1D0 K1A1B1C2D1
concat
制定按某个轴进行连接（可横向可纵向），也可以指定连接方法。
defconcat(objs,axis=0,join='outer',join_axes=None,ignore_index=False, keys=None,levels=None,names=None,verify_integrity=False, sort=None,copy=True):
| 属性 | 描述 |
|---|---|
| objs | 合并的对象集合。可以是Series、DataFrame |
| axis | 合并方法。默认0，表示纵向，1横向 |
| join | 默认outer并集，inner交集。只有这两种 |
| join_axes | 按哪些对象的索引保存 |
| ignore_index | 默认Fasle忽略。是否忽略原index |
| keys | 为原始DataFrame添加一个键，默认无 |
示例(1)
s1=pd.Series(['a','b']) s2=pd.Series(['c','d']) s3=pd.concat([s1,s2]) s4=pd.concat([s1,s2],ignore_index=True) print(s3) print(s4)
0a 1b dtype:object 0c 1d dtype:object 0a 1b 0c 1d dtype:object 0a 1b 2c 3d dtype:object
示例（2）
df1=pd.DataFrame([['a',1],['b',2]],columns=['A',0]) df2=pd.DataFrame([['a',1],['b',2]],columns=['B',0]) df3=pd.concat([df1,df2],join='inner') print(df3)
0 01 12 01 12
示例（3）
df1=pd.DataFrame([['a',1],['b',2]],columns=['A',0]) df2=pd.DataFrame([['a',1],['b',2]],columns=['B',0]) df3=pd.concat([df1,df2],axis=1,join_axes=[df1.index]) print(df3)
A0B0 0a1a1 1b2b2
append
横向和纵向同时扩充，不考虑columns和index
df1=pd.DataFrame({'A':['A0','A1','A1'],
'B':['B0','B1','B2']},
index=['K0','K1','K2'])
s2=pd.Series(['X0','X1'],index=['A','B'])
result=df1.append(s2,ignore_index=True)
print(result)
AB K0A0B0 K1A1B1 K2A1B2 AB 0A0B0 1A1B1 2A1B2 3X0X1
汇总
- concat：可以沿一条轴将多个对象连接到一起
- merge：可以根据一个或多个键将不同的DataFrame中的行连接起来。
- join：inner是交集，outer是并集。
到此这篇关于DataFrame数据合并实现(merge，join，concat)的文章就介绍到这了,更多相关DataFrame数据合并内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！