如何比较缺少值的Python Pandas中的两个DataFrame

介绍

熊猫使用NumPy NaN(np.nan)对象表示缺失值。这个Numpy NaN值具有一些有趣的数学性质。例如，它不等于自身。但是，与自身相比，Python None对象的评估结果为True。

怎么做..

让我们看一些示例来了解np.nan的行为。

import pandas as pd
import numpy as np

# Python None Object compared against self.
print(f"Output \n *** {None == None} ")

输出结果

*** True

# Numpy nan compared against self.
print(f"Output \n *** {np.nan == np.nan} ")

输出结果

*** False

# Is nan > 10 or 1000 ?
print(f"Output \n *** {np.nan > 10} ")

输出结果

*** False

传统上，Series和DataFrames使用equals运算符==进行比较。比较的结果是一个对象。首先让我们看看如何使用equals运算符。

# create a dataframe with tennis players and their grandslam titles.
df = pd.DataFrame(data={"players": ['Federer', 'Nadal', 'Djokovic', 'Murray','Medvedev','Zverev'],
"titles": [20, 19, 17, 3,np.nan,np.nan]})
# set the index
df.index = df['players']

# sort the index in ascending
df.sort_index(inplace=True, ascending=True)

# check if the index is set
df.index.is_monotonic_increasing

# see records
print(f"Output \n{df}")

输出结果

         players    titles
players
Djokovic Djokovic     17.0
Federer  Federer      20.0
Medvedev Medvedev     NaN
Murray   Murray       3.0
Nadal    Nadal        19.0
Zverev Zverev      NaN

1.为了更好地理解，我们将首先比较所有参与者与标量值“ Federer”，然后查看结果。

print(f'Output \n {df == "Federer"}')

输出结果

          players    titles
players
Djokovic  False       False
Federer   True        False
Medvedev   False      False
Murray     False      False
Nadal      False      False
Zverev     False      False

C:\Users\sasan\anaconda3\lib\site-packages\pandas\core\ops\array_ops.py:253: FutureWarning: elementwise comparison failed; returning scalar instead, but in the future will perform elementwise comparison
res_values = method(rvalues)

2.这可以按预期工作，但是每当您尝试比较具有缺失值的DataFrame时，就会出现问题。作为观察者，让我们将df与自身进行比较。

df_compare = df == df
print(f'Output \n {df_compare}')

输出结果

players titles
players
Djokovic True True
Federer True True
Medvedev True False
Murray True True
Nadal True True
Zverev True False

3.乍一看，所有值似乎都像您期望的那样正确。但是，请使用.all方法查看每列是否仅包含True值（因为我们正在比较两个相似的对象，对吗？）会产生意外的结果。

print(f'Output \n {df_compare.all()}')

输出结果

players True
titles False
dtype: bool

4.如前面的注释 ，发生这种情况是因为缺失值彼此之间的比较不同。看，我们清楚地知道medvedev和Zverev没有标题（即NaN），因此，如果我们在每列中添加缺失值的数量，则标题应为2，玩家应为0。让我们看看会发生什么。

print(f'Output \n {(df_compare == np.nan).sum()}')

输出结果

players 0
titles 0
dtype: int64

5. Above的结果出乎意料，因为nan的行为截然不同。

6.比较两个完整的DataFrame的正确方法不是使用equals运算符（==），而是使用.equals方法。

此方法将相同位置的NaN视为相等。

重要注意事项.eq方法等效于== not .equals。

print(f'Output \n {df_compare.equals(df_compare)}')

输出结果

True

7.如果要在单元测试中尝试比较两个DataFrame，则还有另一种方法。如果两个DataFrame不相等，则assert_frame_equal函数将引发AssertionError。如果两个DataFrame相等，则返回None。

from pandas.testing import assert_frame_equal
print(f'Output \n {assert_frame_equal(df_compare, df_compare) is None}')

输出结果

True