Python如何实现特征工程处理_机器学习特征流程解析【技巧】

特征工程核心是结合业务、分布与模型特性转换数据:数值型需处理异常值与偏态(如log1p)、构造比值;类别型依基数选编码,低基数用独热,高基数用目标编码或嵌入。

Python实现特征工程,核心是把原始数据变成模型能更好理解的输入形式。不是简单做标准化或编码,而是结合业务逻辑、数据分布和模型特性做有针对性的转换。

数值型特征:别只盯着标准化

均值归一化(StandardScaler)或最小-最大缩放(MinMaxScaler)适合线性模型,但树模型(如XGBoost、随机森林)对量纲不敏感,强行缩放反而可能破坏原始分布信息。更关键的是处理异常值和偏态分布:

  • 用箱线图或IQR识别离群点,考虑截断(winsorization)而非直接删除
  • 右偏数据(如收入、访问时长)优先试对数变换:np.log1p(x)(自动处理0值)
  • 构造有意义的比值或变化率,比如“近7天点击数 / 近30天点击数”,比单纯用绝对值更有区分度

类别型特征:编码方式要看类别数量和业务含义

低基数类别(

  • 目标编码(Target Encoding):用该类别的标签均值替代原始值,注意要加平滑防止过拟合
  • 频率编码(Frequency Encoding):用该类别出现频次替代,适合无监督或分类目标不明确场景
  • 嵌入编码(Embedding):配合深度学习,把ID类特征映射到低维稠密向量(可用TensorFlow/Keras或PyTorch实现)

时间与文本特征:从结构中挖语义

时间字段别只拆成年月日小时——提取周期性信号更重要:

  • 把小时转为正弦/余弦特征:sin(2π×hour/24),让23点和0点在空间上更接近
  • 判断是否工作日、是否节假日、距离下一个节日还有几天,这些布尔或数值特征常比原始时间戳更有效
  • 文本字段先清洗(去停用词、统一大小写),再根据任务选方法:短文本用TF-IDF,长文档或需语义可用Sentence-BERT生成句向量

特征交互与降维:少而精胜过多而杂

人工构造交叉特征(如“城市 × 季节”、“用户等级 × 商品价格区间”)要有业务依据,避免盲目组合。高维稀疏特征(如One-Hot后几百列)建议用以下方式压缩:

  • PCA适用于数值型且线性相关明显的场景,但会丢失可解释性
  • TruncatedSVD更适合稀疏矩阵(如TF-IDF输出),计算快、内存友好
  • 特征重要性筛选:训练一个轻量模型(如LightGBM with n_estimators=50),按feature_importance排序保留Top 30~50

基本上就这些。特征工程没有银弹,关键是多看数据、多试假设、多验证效果——用验证集上的指标说话,而不是凭感觉选方法。