人工智能和机器学习之分类算法：LightGBM：LightGBM在工业界的应用案例.docx

人工智能和机器学习之分类算法：LightGBM：LightGBM 在

工业界的应用案例

1 人工智能和机器学习之分类算法：LightGBM 算法概述与

传统 GBDT 的比较

1.1 简介

在机器学习领域，尤其是处理大规模数据集时，LightGBM 因其高效性和准

确性而备受青睐。本教程将深入探讨 LightGBM 算法的核心原理，以及它与传统

度和模型性能。其核心优化点包括：

1. GoSS（Gradient-based One-Side Sampling）：这是一种基于梯度的

采样方法，用于减少数据量，同时保持模型的准确性。它通过丢弃梯度

小的数据点和保留梯度大的数据点来实现。

2. EFB（Exclusive Feature Bundling）：这是一种特征组合技术，用于

减少特征数量，从而提高训练速度。它通过将互斥的特征组合在一起，

减少树的分裂点，从而减少计算量。

3. 直方图优化：LightGBM 使用直方图算法来加速特征的分裂点查找。

它通过预排序和直方图的并行计算，大大提高了训练速度。

1.1.1.2 内容

不妥协，甚至在某些情况下，其性能优于传统 GBDT。

1.1.2 LightGBM 与传统 GBDT 的比较

1.1.2.1 训练速度

LightGBM 通过 GoSS 和 EFB 等技术，显著减少了训练所需的时间。在处理

大规模数据集时，这种速度优势尤为明显。

1.1.2.2 内存使用

LightGBM 优化了内存使用，能够处理更大的数据集，而不会导致内存溢出。

这对于工业界处理海量数据的应用场景至关重要。

1.1.2.3 模型性能

在模型性能方面，LightGBM 通过更精细的特征选择和分裂点查找，往往能

from sklearn.model_selection import train_test_split

data = load_iris()

X = data.data

y = data.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

lgb_train = lgb.Dataset(X_train, y_train)

lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

'num_leaves': 31,

'learning_rate': 0.05,

'feature_fraction': 0.9,

'bagging_fraction': 0.8,

'bagging_freq': 5,

'verbose': 0

}

gbm = lgb.train(params,

lgb_train,

在上述代码中，我们使用了 sklearn.datasets 中的 load_iris 数据集。这是一

个经典的多分类数据集，包含 150 个样本，每个样本有 4 个特征，目标变量有

3 个类别。

1.1.2.6 代码讲解

1. 数据加载：我们首先使用 load_iris 函数加载数据，然后将数据和

目标变量分别存储在 X 和 y 中。

2. 数据划分：使用 train_test_split 函数将数据划分为训练集和测试

集。

3. 创建数据集：LightGBM 需要特定格式的数据集，我们使用

lgb.Dataset 创建训练集和验证集。

性。在工业界，这种算法被广泛应用于推荐系统、广告点击预测、金融风控等

场景，以提高模型的预测能力和处理大规模数据的能力。

1.2 结论

LightGBM 通过其独特的算法优化，不仅提高了训练速度和模型性能，还降

低了内存使用，使其成为工业界处理大规模数据集的理想选择。通过本教程的

学习，你将能够更好地理解和应用 LightGBM 算法，以解决实际问题。

2 LightGBM 原理

2.1 特征并行化 (sub dir 2.1)

在特征并行化中，LightGBM 将数据集按照特征进行分割，每个线程处理一

部分特征。这种并行策略可以显著提高模型训练速度，尤其是在高维数据集上。

data = load_breast_cancer()

X = data.data

y = data.target

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

lgb_train = lgb.Dataset(X_train, y_train)

lgb_eval = lgb.Dataset(X_test, y_test, reference=lgb_train)

params = {

'bagging_fraction': 0.8, #

'bagging_freq': 5,

'verbose': 0

}