kaggle-avazu

### Kaggle-Avazu：点击率预测竞赛中的4Idiots团队方法 #### 团队成员介绍 在“Kaggle-Avazu”点击率预测竞赛中，4Idiots团队由四位成员组成： - **Yu-Chin Juan**（Kaggle ID: guestwalk）：国立台湾大学 - **Wei-Sheng Chin**（Kaggle ID: mandora）：国立台湾大学 - **Yong Zhuang**（Kaggle ID: yolicat）：国立台湾大学 - **Michael Jahrer**（Kaggle ID: MichaelJahrer）：Opera Solutions 最终模型是国立台湾大学团队（NTU）与Michael Jahrer所建立模型的集成。由于Michael的部分基于他在Opera Solutions的工作，因此无法公开发布。在发布的代码和文档中，仅呈现了NTU团队的解决方案。 #### 数据集特点 数据集的特点在于所有特征均为分类类型。数据集中包含以下几类特征： - **Label**：表示是否被点击（1或-1） - **Hour**：广告出现的时间 - **Banner Pos**：广告位置 - **Site ID**：网站ID - **Site Domain**：网站域名 - **更多特征**：如`C20`等其他特征 数据集分为两个部分：训练集包含4000万条记录，测试集包含400万条记录。每个记录都包括上述提到的特征。 #### 评价指标 本竞赛采用对数损失（Log Loss）作为评价指标。对数损失定义为： \[ \text{logloss} = -\frac{1}{L} \sum_{i=1}^{L} [y_i \log p_i + (1 - y_i) \log (1 - p_i)] \] 其中，\(L\) 是实例的数量，\(y_i \in \{0, 1\}\) 表示第 \(i\) 个实例的标签，\(p_i\) 表示第 \(i\) 个实例被点击的概率。 #### 模型流程图 最佳模型是由20个子模型组成的集成模型。这些子模型是在流程图中的黄色部分构建的，并且具有不同的设置。模型构建过程大致分为以下几个步骤： 1. **数据子集**：并非使用整个数据集，而是将数据分割成更小的部分进行处理。例如，在一个子模型中，选择具有特定 `siteid`（如85f751fd）的实例；在另一个子模型中，则选择具有特定 `appid`（如ecad2386）的实例。 2. **特征工程**：除了原始特征外，还生成了一些额外的特征，如计数特征、包特征和点击历史等。 3. **哈希特征提取**：通过哈希技术将特征映射到较低维度的空间，以便于模型处理。 4. **因子分解机（Factorization Machine, FFM）**：一种机器学习算法，用于处理稀疏特征数据，可以捕捉高阶交互信息。 5. **集成模型**：最终将多个子模型的结果整合在一起，形成最终的预测结果。 #### 特征工程细节 在特征工程阶段，4Idiots团队除了使用原始特征外，还生成了以下几类附加特征： - **计数特征**：包括`deviceipcount`（设备IP计数）、`deviceidcount`（设备ID计数）、`hourlyusercount`（小时级用户计数）、`usercount`（用户计数）以及`hourlyimpressioncount`（小时级展示计数）等。 - **包特征**：这些特征用于统计特定类别组合出现的频率。 - **点击历史**：用于捕捉用户过去的行为模式，帮助预测未来的点击行为。 #### 总结 通过这种方式，4Idiots团队成功地利用集成学习和特征工程技术构建了一个高效的点击率预测模型。他们通过对数据集进行细分和深入的特征工程操作，极大地提升了模型的预测性能。这一策略不仅在竞赛中取得了优异的成绩，也为实际应用中的点击率预测提供了有价值的参考。