人工智能和机器学习之回归算法：决策树回归：C4.5算法详解.docx

人工智能和机器学习之回归算法：决策树回归：C4.5 算法

详解

1 引言

1.1 决策树回归的概念

决策树回归是一种监督学习算法，用于解决回归问题。它通过构建一棵树

形结构，其中每个内部节点表示一个特征上的判断，每个分支代表一个判断结

果，而每个叶节点则代表一个输出值。决策树回归可以处理非线性关系，且模

据集时，其效率和效果得到了广泛认可。

2 C4.5 算法详解

2.1 信息增益比

C4.5 算法使用信息增益比作为特征选择的依据。信息增益比是信息增益与

特征固有值的比值，它能够更好地反映特征对数据集的分类能力，避免选择具

有大量值的特征。

2.1.1 公式

信息增益比计算公式如下：

其中，

是特征固有值。

2.1.2 示例代码

假设我们有以下数据集：

我们可以使用 Python 的 pandas 和 sklearn 库来计算信息增益比：

'收入': ['低', '低', '中', '高', '高', '高', '低', '中', '高', '高', '高', '低', '低', '中', '中', '高'],

'信用等级': ['一般', '一般', '一般', '一般', '优秀', '极好', '一般', '一般', '一般', '优秀', '极好', '

一般', '优秀', '优秀', '极好', '极好'],

'购买': ['否', '否', '是', '是', '是', '是', '否', '是', '是', '是', '否', '否', '否', '是', '是', '否']}

df = pd.DataFrame(data)

#

df = pd.get_dummies(df, columns=['年龄', '收入', '信用等级'])

#

X = df.drop('购买', axis=1)

y = df['购买']

#

split_info_age = 0

split_info_income = 0

split_info_credit = 0

#

gain_ratio_age = gain_age / split_info_age if split_info_age != 0 else 0

gain_ratio_income = gain_income / split_info_income if split_info_income != 0 else 0

gain_ratio_credit = gain_credit / split_info_credit if split_info_credit != 0 else 0

print(f'年龄的信息增益比: {gain_ratio_age}')

print(f'收入的信息增益比: {gain_ratio_income}')

类特征，从而进行决策树的构建。

2.2.1 示例代码

假设我们有以下包含连续值特征的数据集：

我们可以使用 Python 的 pandas 和 sklearn 库来处理连续值特征，并构建决

策树：

import pandas as pd

from sklearn.tree import DecisionTreeRegressor

from sklearn.model_selection import train_test_split

df = pd.DataFrame(data)

#

discretizer = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='quantile')

df['收入'] = discretizer.fit_transform(df[['收入']])

#

X = df.drop('购买', axis=1)

y = df['购买']

#

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

#

print(f'预测结果: {y_pred}')

在上述代码示例中，我们使用了 KBinsDiscretizer 来将连续值特征“收入”

离散化为 3 个区间，然后使用决策树回归器 DecisionTreeRegressor 来构建模型

并进行预测。

2.3 缺失值处理

C4.5 算法能够处理缺失值，通过在构建决策树时，对缺失值进行特殊处理，

如使用剩余值的统计信息进行预测。

2.3.1 示例代码

假设我们有以下包含缺失值的数据集：