实战人品预测之三 _ 向高手学习

  这是本系列“实战人品预测”的最后一篇：向高手学习。在之前的两篇：《实战人品预测之一 _ 国内大数据竞赛平台》和《实战人品预测之二 _ 热门模型 xgboost》中我们尝试了 DataCastle 平台的“微额借款用户人品预测大赛”，对数据不做任何处理，仅用 xgboost 模型，经过 50000 次迭代，最终得分 0.70，据说该代码最高得分可到 0.717。距比赛中的最高分 0.734 仅 0.017 之差。前 400 名得分均在 0.70 以上，这最后的差距究竟在哪？

  本篇以学习冠军“不得直视本王”（后简称大王）的竞赛报告书和代码的方式，向大王致敬，同时对比自己的不足，开拓思路，学习一些书本上没有的实战技巧。

  竞赛报告书原文：http://blog.csdn.net/bryan__/article/details/50977513，内附源码地址。

##１. 思路

  我们看到大多数挖掘比赛都不修改模型，甚至上来就直接代入 xgboost。参赛者的主要的工作是：特征工程，模型调参，组合模型。模型调参在上篇上已经详细说过了，本篇以介绍特征工程和组合模型为主。

##２. 特征工程

  下面列出了大王在特征工程中所做的工作，带 * 的是一些较新的思路。

(1) 样本与缺失值 *

  统计各样本的缺失值数据，把缺失值个数也作为一个特征，并用它排序，做图观测缺失值的分布规律。并剔除缺失值高于某一边界值的数据。

(2) One-Hot Encoding

  有些算法只支持数值型数据，在枚举字段到数值型的转换过程中，如果把“男”，“女”，“小孩”，变为 0,1,2，则“男”与“小孩”间的距离为２，大于“男”与“女”间的距离，这并不合理。于是变为{0,0,1},{0,1,0},{1,0,0}，这就是 One-Hot 编码。

  具体实现使用工具：from sklearn.preprocessing import OneHotEncoder

(3) 排序特征 *

  如果表中存储的是期末考试成绩，实例是人，特征是科目，那么排序特征就是某人在此科目的排名。这么做是为了加强对异常数据鲁棒性。

  实现方法形如：

test_rank['r'+feature] = test[feature].rank(method='max')

  大王代码中的 svm 就是用排序特征做的，成绩 0.69。

(4) 离散特征

  使用排序特征做等量划分离散化。使用成绩的例子，就是把每个科目排序再分成 10 个组 1-10。如果排名对应到其中一个组，你的值是 3，则说明你的排名在 20%-30% 之间。

(5) 记数特征

  离散特征累加得到记数特征。用 n1…n10 表示，n5 中存的是离散特征中有几个 5，以此类推。

  排序特征 ->离散特征 ->记数特征，也是数学意义上的层层抽象。程序通过 feature.csv 对不同类型的数据拆分处理。并把新生成的特征（离散，记数…）和旧有特征放在一起，再做特征筛选。

(6) 特征筛选（feature_select）*

  由于缺失数据太多，影响了相关性，大王也使用了特征选择，而非降维。对于原数据，排序数据，离散数据使用的都是 xgb 做的特征选择，xgb 提供的 get_fscore() 函数，可取得特征评分。

  原理是 xgb 是一个 boosting 模型，它会在迭代过程中不断给上一次分错的特征加权，最终使得不同特征具有不同权重。

##３. 组合模型

  代码中 M1-M5 目录分别是大王不同的尝试

(1) M1：

  独立模型，包含了单独使用 xgboost 和 svm 的代码。

(2) M2：

 Bagging 方式抽取特征，预测后取平均。

(3) M3：

  模型融合，主要是融合差异大的模型，然后对模型预测出的结果加权平均。

##４. 半监督学习 #### (1) M4：

  预测的无标签数据，其中 score 得分低于 a 或高于 b 的加入训练集，通过线上评分评测，调整 a,b 不断迭代。以扩充训练集。

(2) M5：

  预测的无标签数据，做多次 xgboost，选取线下 auc 提升最大的组合 top500，从中抽实例加入训练集，观测线上表现，保留提分的样本。

  观测线上表现，保留提分的样本，是比赛特有的方法。这也是为什么有些比赛，明明数据不充分，也有人达到了 100% 的线上正确率的原因。