python lightgbm

# 关于Python LightGBM一个常用但经常被误解的工具团队里有个新人问我LightGBM到底是个什么东西为什么大家都在用。正好借着这个问题把这些年用下来的感受整理一下。他是什么LightGBM其实是个梯度提升框架微软做的。你说它和XGBoost有什么本质区别核心差别就在树生长的策略上。传统的梯度提升树是按层生长的一层一层铺开像个贪吃蛇一样把整个空间填满。LightGBM不一样它按叶子生长每次只挑增益最大的那个叶子去分裂。打个比方吧就像两个人在做拼图。一个人把整张图先分成四块然后每块再分四块均匀地分。另一个人盯着最复杂的那块先把那个人脸拼出来剩下的简单区域随它去。后者就是LightGBM的路子。这种策略有个好处就是能在同样的深度下捕捉到更复杂的模式。缺点也不是没有深了容易过拟合这个后面再聊。他能做什么讲真结构化数据上的分类回归任务LightGBM基本上是默认选项之一。电商的点击率预测、金融的信用评分、工业场景的异常检测这些场景里LightGBM的表现通常不错。有个场景特别能体现它的特点。去年有个用户行为预测的项目数据量大概是三百万行两百多个特征。用XGBoost跑了快二十分钟换成LightGBM同样的参数设置五分钟不到就出结果了。速度优势在超大数据集上尤其明显。但得说清楚LightGBM不是万能的。图像、文本、序列数据这些它就不太擅长。有人非要拿它做NLP结果还不如一个简单的词袋模型加逻辑回归。怎么使用安装倒是简单pip install lightgbm就行。不过建议用conda装省得编译的时候出幺蛾子。基本用法和sklearn差不多importlightgbmaslgbimportpandasaspdfromsklearn.model_selectionimporttrain_test_split# 数据准备X_train,X_val,y_train,y_valtrain_test_split(X,y,test_size0.2)# 训练modellgb.LGBMClassifier(num_leaves31,learning_rate0.1,n_estimators100)model.fit(X_train,y_train)看着很简单对吧但真正用的时候参数调起来特别麻烦。我刚开始也踩过坑以为参数调得多就好结果模型跑得慢还过拟合。有个小技巧先固定learning_rate和n_estimators只调num_leaves。等叶子数合适了再去调整learning_rate。这样不会陷入参数地狱。最佳实践这些年调LightGBM踩过的坑说几个印象深刻的。第一个坑是num_leaves设得太大。有人觉得叶子数代表模型复杂度越大越好。但实际上一旦超过50在大部分数据集上就开始过拟合了。解决办法很简单把num_leaves和max_depth结合起来用。比如num_leaves设31同时限制max_depth6这样树不会长太高。第二个是类别特征的处理。LightGBM原生支持类别特征但有个前提特征值必须是整数并且要告诉模型这是类别特征。很多人直接传字符串进去模型就当是缺省值处理了。# 正确做法modellgb.LGBMClassifier(categorical_feature[feature_name])# 或者model.fit(X_train,y_train,categorical_feature[0,1,3])# 传入列索引第三个是关于early_stopping。这玩意儿非常有用但很多人用得不对。early_stopping依赖验证集所以验证集的划分很关键。要是验证集和训练集分布差异太大early_stopping反而会让模型更差。通常建议用分层抽样来划分数据。和同类技术对比单纯的梯度提升树有个问题对异常值敏感。所以出现了很多变体比如CatBoost和XGBoost。这三个放在一起比较有点像三种不同的做事方式。CatBoost处理类别特征最省心不需要做特征编码。但它的速度和内存消耗都比LightGBM大。XGBoost则胜在稳定性参数调起来不那么敏感但速度慢一些。LightGBM在处理数据倾斜时有个天然优势。因为它的直方图算法能自动忽略那些稀疏特征里的零值。想象一下一百个特征里有八十个全是零LightGBM就不会在这一大堆零上浪费计算资源。这在推荐系统的用户行为数据上特别有用。不过LightGBM对数值特征的容错性不如XGBoost。如果数据里有极端值LightGBM会直接切出一个只有几个样本的叶子节点。而XGBoost因为层生长策略不会出现这种极端情况。选哪个看场景。数据量大、特征多、对速度有要求LightGBM是首选。数据量大但类别特征多CatBoost可能更好。数据量不是很大但对稳定性要求高XGBoost就够用了。说到底工具这东西没有绝对的好坏关键看怎么用。就像有人用notepad写代码有人非要装个IDE最后写出什么水平的代码跟工具有关但关系不大。