特征筛选工具

做模型时常常是特征越多模型准确率越高（至少在训练集上）。但过多的特征又增加了数据收集、处理、存储的工作量，以及模型的复杂度。

在保证模型质量的前提下，我们希望尽量少地使用特征，这样也间接地加强了模型的可解释性。一般来说，为避免过拟合，特征尽量控制在实例个数的 1/20 以下，比如有 3000 个实例，则特征最好控制在 150 以下。

除了特征的具体个数，特征工程中也经常遇到某些特征严重缺失，特征相关性强，一些特征不但无法给模型带来贡献，反而带来噪声等问题。

本篇介绍特征筛选工具 feature-selector，在 github 上有 1.8K 星，它使用少量的代码解决了特征筛选中的常见问题，用法简单，便于扩展；同时也提供了作图方法，以更好地呈现特征效果。

其核心代码文件只有 feature_selector/feature_selector.py（600 多行代码），所有方法都定义在 FeatureSelector 类中，因此，不用安装，只需要将该文件复制你的项目中即可使用。

示例及效果见：Feature Selector Usage.ipynb

代码中使用 Kaggle 比赛中信用风险预测的数据，为分类问题。

其中包含 10000 条数据，122 个特征；将其 TARGET 字段作为标签，其它字段作为预测特征。

首先用训练数据建立类的实例：

fs = FeatureSelector(data = train, labels = train_labels)

后面逐一列出了各个函数的用法，此处不再一一列举。

工具提供 plot_xxx 等方法具象地展示了数据情况：

该图横坐标为特征取值个数，纵轴为特征个数，例如第一个柱表示将近 100 个特征取值的个数在 1-1000 之间，最后一柱表示有几个特征有上万种取值。

特征相关性
下图中列出了相关系数大于 0.98 的特征（未列出所有特征），同时还提供 fs.record_collinear() 方法列出各个特征对及其相关系数。

特征重要性
工具默认使用 lightgbm 模型计算特征重要性，在调用方法时需要指定损失函数，以及使用分类方法还是回归方法，迭代次数等等。工具可显示其前 N 个重要特征。另外，还可以参考下图，查看模型特征个数与模型效果的关系，下图显示：将模型参数简化为 122 个后，模型准确率几乎不变。