Assignment 4.pdf

### 关于香港大学ECOM7126课程：利用神经网络进行垃圾邮件预测的任务解析 #### 背景介绍 本任务出自香港大学电子商务与互联网计算硕士课程（MSc in E-Commerce and Internet Computing）中的《商务与电子商务中的机器学习》（ECOM7126 Machine Learning for Business and E-Commerce）。该课程要求学生完成一项关于利用神经网络构建垃圾邮件过滤器的任务。 #### 任务目标 本次任务的目标是基于给定的数据集，开发一个能够有效识别垃圾邮件的神经网络模型。具体而言，需要通过训练和测试数据来建立模型，并评估其性能。 #### 数据集概述 数据集由4,600封电子邮件组成，其中包含48个单词、6个字符或符号以及其他特征，这些特征随机抽取自样本邮件。每封邮件都被标记为“SPAM”（垃圾邮件）或“HAM”（非垃圾邮件）。数据集已经进行了随机化处理，前3,600条数据用于训练模型，剩余的1,000条数据用于测试模型的准确性。 #### 输入特征详解 - **word_freq_WORD**：特定单词“WORD”的频率计数（百分比形式），即“WORD”出现次数除以邮件中总单词数。 - **char_freq_CH**：特定字符“CH”的频率计数（百分比形式），即字符“CH”出现次数除以邮件中总字符数。 - **capital_run_length_average**：邮件中不间断的大写字母序列的平均长度。 - **capital_run_length_longest**：邮件中最长的不间断大写字母序列的长度。 - **capital_run_length_total**：邮件中所有大写字母的总数。 - **spam**：二分类标签，0表示非垃圾邮件，1表示垃圾邮件。 #### 报告内容要求 报告应包括以下部分： 1. **数据集探索与预处理**： - 对提供的特征集进行深入分析，理解每个特征的含义以及它们如何影响邮件是否被归类为垃圾邮件。 - 检查数据集中是否存在缺失值、异常值等问题，并进行适当的处理。 - 数据标准化或归一化，确保模型训练过程中数值稳定。 2. **模型设计与训练**： - 设计一个多层神经网络模型，可以考虑使用深度学习框架如TensorFlow或PyTorch来实现。 - 选择合适的损失函数、优化器和评估指标。 - 在训练过程中使用交叉验证来调整超参数，提高模型泛化能力。 - 训练完成后对模型进行测试，并记录测试结果。 3. **模型评估与改进**： - 使用测试集评估模型的性能，包括准确率、精确率、召回率等指标。 - 分析模型在不同类型的邮件上的表现差异。 - 如果时间允许，可以通过调整网络结构、增加正则化项等方式进一步优化模型。 #### 结语 通过完成这项任务，不仅能够加深对机器学习理论的理解，还能实际操作并解决一个具有挑战性的现实问题——垃圾邮件过滤。这一过程将有助于培养解决问题的能力，并提升数据分析与编程技能。