我们如何使用 Python Pandas 库检测重复标签?
Pandas用于处理大型数据集,因为大型数据表的列和行都用一些名称进行索引,这些名称称为标签。当我们处理数据集时,数据集中可能存在一些重复的标签。
重复可能导致对我们的数据做出错误的结论,它可能会影响我们想要的输出。这里我们谈论的是标签重复,只不过是重复了1次以上的行和列索引名称。
让我们举一个例子来识别DataFrame中的重复标签。
识别列标签中的重复项
示例
df1 = pd.DataFrame([[6, 1, 2, 7], [8, 4, 5,9]], columns=["A", "A", "B","C"]) print(df1) print(df1.columns.is_unique)
解释
创建了一个2X4形状的DataFrame。为了验证列中是否存在任何重复的标签,这里我们使用DataFrame.columns.is_unique。这将根据重复项的存在返回一个布尔数据,True或False。
输出结果
A A B C 0 6 1 2 7 1 8 4 5 9 False
此输出块表示DataFramedf,布尔值False表示DataFramedf的列中存在重复标签。
通过使用duplicated方法,我们还可以在DataFrame中获取重复的标签。下面块。
df1.columns[~df1.columns.duplicated()]
df1.columns仅将列名作为数组,该duplicated()方法为您提供一个表示重复项的布尔值数组。通过使用上面的代码,我们可以获得一个唯一的列标签列表。
Index(['A', 'B', 'C'], dtype='object')
识别索引标签中的重复项
与上述识别列标签中重复项的过程相同,我们也可以识别索引(行)中的重复项。
示例
f = pd.DataFrame({"A": [0, 1, 2, 3, 4]}, index=["x", "y", "x", "y","z"]) print(f) print() print(f.index.duplicated()) #gettingbooleanstring unique_f = f[~f.index.duplicated()] #filteringduplicates print() print(unique_f) # removed duplicated data
解释
DataFrame“f”是在索引中使用一些重复数据创建的。我们可以使用f来识别重复项。它将返回一个代表重复索引的布尔值列表。通过使用这种重复的方法,我们可以从DataFrame中删除重复的标签。index.duplicated()
输出结果
A x 0 y 1 x 2 y 3 z 4 [False False True True False] A x 0 y 1 z 4
第一个块是具有重复值的DataFrame“f”,布尔值数组表示重复。最后一个块代表来自我们的DataFrame“f”的唯一索引标签。