在人工采集数据时经常有可能紦空值和空格混在一起,一般也注意不到在本来为空的单元格里加入了空格这就给做数据处理的人带来了麻烦,因为空值和空格都是代表的无数据而pandas中Series的方法notnull()会把有空格的数据也纳入进来,这样就不能完整地得到我们想要的数据了这里给出一个简单的方法处理该问题。
既然我们认为空值和空格都代表无数据那么可以先得到这两种情况下的布尔数组。
这里我们的DataFrame类型的数据集为df,其中有一个变量VIN那么取得空值和空格的布尔数组为NONE_VIN。然后通过该布尔数组就能得到我们要的数据了
直接使用Series的.apply方法来修改变量VIN中的每个值。如果发现是空格就返回Nan,否则就返回原值
方法1的思路就是直接判定是否为空格,把空格纳入到选择中来方法2的思路是先把空格转换为NaN,然后正常使用.isnull()或.notnull()来得到我们想要的数据.