如何检查数值中的异常值(NaN、None、无穷大等)

本文介绍在数据管道验证中高效识别异常数值(如 nan、inf、-inf、none)的专业方法,推荐使用 `math.isfinite()` 结合类型校验,并对比范围检查的局限性,提供可直接复用的健壮校验函数。

在构建数据清洗或校验模块时,仅依赖数值范围(如 [-10, 10])无法覆盖所有异常情况——例如 float('nan')、float('inf')、None 或字符串 'null' 均可能合法通过区间判断,却会导致后续计算崩溃或结果失真。真正可靠的“好数字”(good number)应同时满足三个条件:
✅ 是 Python 原生数值类型(int 或 float);
✅ 非空且非 None;
✅ 为有限数(finite),即既非 NaN 也非 ±inf。

math.isfinite(x) 是标准库中最简洁、高效的判定工具,它自动排除 NaN 和 inf/-inf,且对 int 类型安全兼容(无需额外 isnan 判断)。因此,推荐校验逻辑如下:

import math

def is_good_number(x) -> bool:
    """判断单个值是否为有效有限数值(排除 None, NaN, inf, -inf, 字符串等)"""
    if not isinstance(x, (int, float)):
        return False
    # math.isfinite 自动处理 NaN 和 inf,但要求输入为数值类型
    return math.isfinite(x)

def all_good_numbers(data) -> bool:
    """批量校验数据中所有元素是否均为好数字"""
    return all(is_good_number(x) for x in data)

# 示例测试
data1 = [1.5, -7, 0, 99]
data2 = [1.5, float('nan'), 42]
data3 = [1.5, None, 3.14]
data4 = [1.5, float('inf'), -float('inf')]

print(all_good_numbers(data1))  # True
print(all_good_numbers(data2))  # False (含 NaN)
print(all_good_numbers(data3))  # False (含 None)
print(all_good_numbers(data4))  # False (含 inf/-inf)

⚠️ 注意事项:

  • 不要混用 numpy.isnan() 或 pandas.isna():它们对非数组对象行为不一致(如 np.isnan(None) 报错),而 math.isfinite() 是纯 Python、零依赖、类型安全的首选;
  • 显式排除 None:math.isfinite(None) 会抛出 TypeError,因此必须前置 isinstance 检查;
  • 警惕字符串伪装:如 'inf'、'nan' 等字符串需在上游解析阶段转换或拦截,is_good_number('inf') 直接返回 False(因类型不符);
  • 性能提示:对大规模数据,可结合 numpy 向量化加速(如 np.isfinite(arr) & ~np.isnan(arr)),但需确保输入为 np.ndarray 且已处理 None(建议先转 pd.Series 并用 .dropna() 预处理)。

总结:isinstance(x, (int, float)) and math.isfinite(x) 是校验“好数字”的黄金组合——语义清晰、无第三方依赖、覆盖全部 IEEE 754 异常值,远比范围约束更本质、更可靠。