梯度提升机

梯度提升机（Gradient Boosting Machines）是一种集成学习方法，它结合多个弱学习器（通常是决策树），以创建用于分类任务的强大预测模型。该算法是迭代工作的，每个新的树都用于纠正先前树所犯的错误。这是通过专注于先前迭代中错误分类的实例来实现的，从而有效地“提升”了模型的性能。梯度提升的流行实现包括 XGBoost、LightGBM、CatBoost 以及原始的 GradientBoostingClassifier，每个都提供了正则化、树生长策略和分类特征处理的变体。