自动机器学习框架之四 _PyCaret

机器学习涉及数据分析、清洗、建模、评价、对比模型……无论是初学者，还是有经验的开发者在面对新的项目时，都想要简化这些工作，最好能用简单的代码、较短时间，就能得出初步验证结果，之后再进一步优化。

希望能用一个简单的数据文件，几行通用的 Python 语句，就能实现分析、建模和部署。PyCaret 就是这样的工具：虽然没有太多创新算法，但极大地简化了工作流程。这也让机器学习的门槛越来越低。

PyCaret 是 Python 开发的机器学习库，它封装了 Sklearn，XGBoost，LightGBM，Spacy，Shap，PyOD，Gensim，WordCloud 等工具，几乎包括机器学习所有的使用场景和方法（不含深度学习）：异常检测 Anomaly Detection，关联规则 Association Rules，分类 Classification，回归 Regression，聚类 Clustering，自然语言处理 NLP 等。其中支持最丰富的还是分类和回归。

PyCaret 屏蔽了具体使用细节，比如各种库在建模，绘图，特征排序的不同调用方法。向外提供端到端（end-to-end）的统一开发工具，减少了学习成本，让不熟悉编程的其它领域人士，也能快速建模，而无需关注各种 API 的使用细节；同时也帮助专业人士更加高效地工作。

安装

对于第一次使用者，建议下载 github 源码，约 166M，含代码、示例和数据。https://github.com/pycaret/pycaret

源码的 tutorials 目录下有针对聚类分类等典型问题各种级别的入门示例，除了普通建模以外，还有集成模型、做图分析等功能。目前 2.2K GitHub Star，并一直在不断更新。因为在快速开发迭代过程中，有些文档和当前代码有一些对不上。内容结构虽然还不是特别严谨，但重点是确实能解决问题。即使不使用 PyCaret，也可以从例程中学习到常用机器学习库的使用方法。

源码中提供 Dockerfile，用于创建包含 PyCaret 的 Docker 镜像，不过 PyCaret 相对比较简单，推荐在环境中用命令直接安装。

1
$ pip install pycaret

安装时需要注意它依赖的各个机器学习库的软件版本匹配问题。

用法

其核心代码在项目的 pycaret 目录中，目前包括：

anomaly.py 异常值检测（无监督）arules.py 关联规则（无监督）

classification.py 分类（有监督）

clustering.py 聚类（无监督）

datasets.py 数据加载（辅助工具）

nlp.py 自然语言处理（无监督）

preprocess.py 预处理（辅助工具，被其它模块内部调用）

regression.py　回归（有监督）

基本流程一般包含：读取数据 ->建模/对比模型 ->模型预测 ->绘图分析 ->模型导出。包括以下常用方法：

get_data() 读数据，例程中多为读取示例数据，用户可以使用自己的数据代替。

setup() 预处理，各种建模方法（如分类/聚类）根据自己的特点实现了不同的 setup，其中几乎都包含对预处理模块的调用。

models() 列出当前建模方法支持的所有模型。

compare_models() 训练多个模型，并对比其效果。

create_model() 训练模型。

predict_model() 使用模型预测。

plot_model() 显示模型相关的各种分析图，如 AUC 曲线，学习曲线，还包含词云图等。

tune_model() 模型调参。

assign_model() 查看无监督模型打标签的情况。

evaluate_model() 评价模型。

deploy_model() 云端部署。

ensemble_model() 集成模型。

finalize_model() 导出最终模型和参数。

示例

下例介绍用回归模型预测波士顿房价。

1
2
3
4
5
from pycaret.datasets import get_data
from pycaret.regression import * # 使用回归方法

boston = get_data('boston')  # 读取数据
reg1 = setup(data = boston, target = 'medv')  # 数据分析和预处理，指定目标变量medv

1
models() # 列出可用的建模方法

1
best = compare_models(include = ['dt','rf','xgboost']) # 对比决策树、随机森林、XGBoost方法

1
2
model = create_model('xgboost') # 构建XGBoost模型 
plot_model(model, plot='learning') # 绘制学习曲线

interpret_model(model) # shap 特征重要性分析

参考

PyCaret 网站

GitHub 数据挖掘排行榜