自动机器学习框架之四 _PyCaret

机器学习涉及数据分析、清洗、建模、评价、对比模型……无论是初学者,还是有经验的开发者在面对新的项目时,都想要简化这些工作,最好能用简单的代码、较短时间,就能得出初步验证结果,之后再进一步优化。

希望能用一个简单的数据文件,几行通用的 Python 语句,就能实现分析、建模和部署。PyCaret 就是这样的工具:虽然没有太多创新算法,但极大地简化了工作流程。这也让机器学习的门槛越来越低。

PyCaret 是 Python 开发的机器学习库,它封装了 Sklearn,XGBoost,LightGBM,Spacy,Shap,PyOD,Gensim,WordCloud 等工具,几乎包括机器学习所有的使用场景和方法(不含深度学习):异常检测 Anomaly Detection,关联规则 Association Rules,分类 Classification,回归 Regression,聚类 Clustering,自然语言处理 NLP 等。其中支持最丰富的还是分类和回归。

PyCaret 屏蔽了具体使用细节,比如各种库在建模,绘图,特征排序的不同调用方法。向外提供端到端(end-to-end)的统一开发工具,减少了学习成本,让不熟悉编程的其它领域人士,也能快速建模,而无需关注各种 API 的使用细节;同时也帮助专业人士更加高效地工作。

安装

对于第一次使用者,建议下载 github 源码,约 166M,含代码、示例和数据。https://github.com/pycaret/pycaret

源码的 tutorials 目录下有针对聚类分类等典型问题各种级别的入门示例,除了普通建模以外,还有集成模型、做图分析等功能。目前 2.2K GitHub Star,并一直在不断更新。因为在快速开发迭代过程中,有些文档和当前代码有一些对不上。内容结构虽然还不是特别严谨,但重点是确实能解决问题。即使不使用 PyCaret,也可以从例程中学习到常用机器学习库的使用方法。

源码中提供 Dockerfile,用于创建包含 PyCaret 的 Docker 镜像,不过 PyCaret 相对比较简单,推荐在环境中用命令直接安装。

1
$ pip install pycaret

安装时需要注意它依赖的各个机器学习库的软件版本匹配问题。

用法

其核心代码在项目的 pycaret 目录中,目前包括:

anomaly.py 异常值检测(无监督)arules.py 关联规则(无监督)

classification.py 分类(有监督)

clustering.py 聚类(无监督)

datasets.py 数据加载(辅助工具)

nlp.py 自然语言处理(无监督)

preprocess.py 预处理(辅助工具,被其它模块内部调用)

regression.py 回归(有监督)

基本流程一般包含:读取数据 ->建模/对比模型 ->模型预测 ->绘图分析 ->模型导出。包括以下常用方法:

get_data() 读数据,例程中多为读取示例数据,用户可以使用自己的数据代替。

setup() 预处理,各种建模方法(如分类/聚类)根据自己的特点实现了不同的 setup,其中几乎都包含对预处理模块的调用。

models() 列出当前建模方法支持的所有模型。

compare_models() 训练多个模型,并对比其效果。

create_model() 训练模型。

predict_model() 使用模型预测。

plot_model() 显示模型相关的各种分析图,如 AUC 曲线,学习曲线,还包含词云图等。

tune_model() 模型调参。

assign_model() 查看无监督模型打标签的情况。

evaluate_model() 评价模型。

deploy_model() 云端部署。

ensemble_model() 集成模型。

finalize_model() 导出最终模型和参数。

示例

下例介绍用回归模型预测波士顿房价。

1
2
3
4
5
from pycaret.datasets import get_data
from pycaret.regression import * # 使用回归方法

boston = get_data('boston')  # 读取数据
reg1 = setup(data = boston, target = 'medv')  # 数据分析和预处理,指定目标变量medv

1
models() # 列出可用的建模方法

1
best = compare_models(include = ['dt','rf','xgboost']) # 对比决策树、随机森林、XGBoost方法

1
2
model = create_model('xgboost') # 构建XGBoost模型 
plot_model(model, plot='learning') # 绘制学习曲线

interpret_model(model) # shap 特征重要性分析

参考

PyCaret 网站

GitHub 数据挖掘排行榜