Pandas 数据清洗

数据清洗是对一些没有用的数据进行处理的过程。

很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况，如果要使数据分析更加准确，就需要对这些没有用的数据进行处理。

在这个教程中，我们将利用 Pandas包来进行数据清洗。

data.csv

image-blrq.png

上表包含了四种空数据：

  • n/a
  • NA
  • —
  • na

Pandas 判断空值

import pandas as pd

df = pd.read_csv('data.csv')
print(df)
print (df['NUM_BEDROOMS'].isnull())

以上例子中我们看到 Pandas 把 n/a 和 NA 当作空数据，na 不是空数据，不符合我们要求

我们可以指定空数据类型：

missing_values = ["n/a", "na", "--"]
df = pd.read_csv('property-data.csv', na_values = missing_values)

Pandas 清洗空值

如果我们要删除包含空字段的行，可以使用 dropna() 方法，语法格式如下：

df.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)

参数说明：

  • axis：默认为 0，表示逢空值剔除整行，如果设置参数 axis＝1 表示逢空值去掉整列。
  • how：默认为 'any' 如果一行（或一列）里任何一个数据有出现 NA 就去掉整行，如果设置 how='all' 一行（或列）都是 NA 才去掉这整行。
  • thresh：设置需要多少非空值的数据才可以保留下来的。
  • subset：设置想要检查的列。如果是多个列，可以使用列名的 list 作为参数。
  • inplace：如果设置 True，将计算得到的值直接覆盖之前的值并返回 None，修改的是源数据。

我们可以通过 isnull() 判断各个单元格是否为空。

import pandas as pd
missing_values = ["n/a", "na", "--"]
df = pd.read_csv('data.csv',na_values = missing_values)
new_df = df.dropna()
print(new_df)

Pandas 处理空值

fillna() 方法来替换一些空字段：

import pandas as pd
missing_values = ["n/a", "na", "--"]
df = pd.read_csv('data.csv',na_values = missing_values)
df.fillna(12345, inplace = True)

print(df)

可以看到各个字段的空值都被替换了，现实中往往不是要这样的

实际情况中，空值替换：

  • 替换成默认值
  • 替换成平均值
  • 替换众值

指定列替换

import pandas as pd
missing_values = ["n/a", "na", "--"]
df = pd.read_csv('data.csv',na_values = missing_values)
df['PID'].fillna(0, inplace = True)
st_num_mean = df["ST_NUM"].mean()
df['ST_NUM'].fillna(st_num_mean, inplace = True)
df['OWN_OCCUPIED'].fillna("N", inplace = True)
df['NUM_BEDROOMS'].fillna(0, inplace = True)
print(df)

Pandas 清洗错误数据

假设NUM_BATH的值为1的是错误数据，需要修改成2

import pandas as pd
missing_values = ["n/a", "na", "--"]
df = pd.read_csv('data.csv',na_values = missing_values)
for x in df.index:
    if df.loc[x, "NUM_BATH"] == '1':
        df.loc[x, "NUM_BATH"] = '2'
print(df)

假设NUM_BATH的值为1的是错误数据，需要修改成2

import pandas as pd
missing_values = ["n/a", "na", "--"]
df = pd.read_csv('data.csv',na_values = missing_values)
for x in df.index:
    if df.loc[x, "NUM_BATH"] == '1':
        df.drop(x, inplace = True)
print(df)

Pandas 清洗重复数据

如果我们要清洗重复数据，可以使用 duplicated() 和 drop_duplicates() 方法。

如果对应的数据是重复的，duplicated() 会返回 True，否则返回 False。

找出数据

重复值.xlsx

import pandas as pd
df=pd.read_excel("重复值.xlsx")
print(df)
print(df.duplicated())
print(df[df.duplicated()])

以上是判断整行相同

以下是判断单列相同

import pandas as pd
df=pd.read_excel("重复值.xlsx")
print(df['姓名'].duplicated())
print(df[df['姓名'].duplicated()])

删除重复数据

import pandas as pd
df=pd.read_excel("重复值.xlsx")

df.drop_duplicates(inplace = True)
print(df)

注意必须，inplace = True

数据输出

import pandas as pd
df=pd.read_excel("重复值.xlsx")

df.drop_duplicates(inplace = True)
print(df)
df.to_csv('重复值_new.csv')
df.to_excel("重复值_new.xlsx")