ML之FE：IV信息量(Information Value)指标(衡量变量的预测能力)的简介、计算逻辑、使用方法之详细攻略.do

IV，Information Value，信息价值，信息量，用来表示变量对目标预测的贡献程度，也就是预测能力。该指标经常被用在评分卡模型中进行筛选变量。变量的IV值越大，表示自该变量的预测能力越强。但是求IV值，需要先求WOE值，从计算WOE可知，该指标是用在有监督学习，且目标变量为二分类的任务中。 IV（Information Value，信息价值）是机器学习领域中一种用于衡量变量预测能力的指标，尤其在评分卡模型中被广泛应用于变量筛选。信息价值的概念来源于信息理论，它度量了一个特征对目标变量（通常是二分类问题）预测效果的贡献程度。IV值越大，意味着该变量在区分目标类别上的能力越强。 计算IV值之前，需要先计算WOE（Weight of Evidence，证据权重）值。WOE值基于有监督学习，尤其适用于二分类任务，它将变量的分布与目标变量的分布进行比较，量化了每个变量分组对目标变量的影响。WOE值的计算通常涉及将变量分成多个分箱，并计算每个分箱内好客户（例如贷款偿还者）和坏客户（例如违约者）的比例。 IV值的计算分为两步： 1. 对于每个分箱，其IV值由以下公式计算：IVi = (Good% - Bad%) * log((Good% / (1 - Good%)) / ((Bad% / (1 - Bad%)))，其中Good%和Bad%分别代表该分箱内的好客户和坏客户比例。 2. 变量的总IV值为所有分箱的IVi之和，这可以理解为消除不同分组数量差异后的预测能力总和。 IV值的判断标准一般如下： - IV值在0到0.02之间表示变量无预测能力，可能被视为无效； - 0.02到0.10之间表示弱预测力； - 0.10到0.20表示中等预测力； - 0.20以上表示强预测力，0.30到0.50属于较强预测能力； - 当IV值超过0.50时，虽然看似很好，但也需要谨慎检查变量，因为过高的IV值可能意味着过度拟合或者数据异常。 在实际应用中，通过计算所有变量的IV值，可以按照降序排列并选择IV值较高的变量，这些变量在模型构建中可能具有更高的预测价值。例如，对于一个年龄(age)作为自变量，坏客户(bad)和好客户(good)作为目标变量的情况，我们可以计算每个年龄分组的Bad%、Good%、WOE值和IV值，从而得到age变量的整体IV值。较大的IV值意味着年龄在预测贷款违约上起到了更显著的作用。 总结来说，IV信息价值指标是评估分类变量预测能力的重要工具，它基于WOE值的计算，用于识别那些在预测二分类问题时最有影响力的特征。通过理解和应用IV值，数据科学家可以在建模阶段更有效地筛选特征，提高模型的预测性能。