16337233王凯祺1

这篇实验报告是关于使用机器学习方法处理Quora Question Pairs数据集的问题，目的是识别出重复的问题。报告由数据科学与计算机学院2016级的王凯祺完成，时间是2019年6月。实验中，王凯祺使用了macOS Mojave 10.14.5操作系统，并采用Python 3作为编程语言。具体到环境，他使用了一系列Python库，包括但不限于nltk、numpy、pandas、scikit-learn和xgboost等，这些都是在数据处理和机器学习中常用的工具。 实验流程主要包括数据处理和模型训练两个主要步骤。数据处理是一个关键环节，因为原始数据包含了一些复杂的问题，比如相似但不完全相同的句子，这要求模型能够理解语义上的近似。在数据预处理阶段，作者参考了"The Importance of Cleaning Text"的Kernel，对文本进行了清洗，包括去除非ASCII字符，标准化单词，移除标点符号，删除停用词，以及可能的词形还原。这些步骤有助于减少噪声，使模型能够更专注于关键信息。 在数据清洗后，模型需要面对的一个挑战是训练集和测试集之间的不平衡。训练集有404,290行，而测试集则有2,345,796行，这意味着模型需要在较少的样本中学习到足够多的模式，以便在大规模的测试集中有效地识别重复问题。这种情况下，模型的泛化能力成为了一个重要的考量因素。 在处理Quora问题对时，作者提到了一个具体的例子，说明了问题相似度计算的局限性。例如，"What is the step by step guide to invest in share market in india?" 和 "What is the step by step guide to invest in share market?"这两个问题虽然只相差" in India"，但含义却不同。因此，模型需要能够理解上下文和语义的细微差别，而不仅仅是基于词汇的相似度。 此外，报告中还可能涉及了特征工程、模型选择、训练过程和评估指标等内容，但这些信息没有在提供的部分中给出。通常，特征工程可能包括词袋模型(Bag of Words)、TF-IDF、词向量(Word Embeddings)等技术来转化文本数据。模型选择可能会涉及多种机器学习算法，如朴素贝叶斯(Naive Bayes)、支持向量机(SVM)或深度学习模型如LSTM。评估指标可能是准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1分数(F1-Score)，用于衡量模型在识别重复问题上的表现。 由于提供的信息有限，无法详细讨论模型构建和评估的细节，但可以推测，王凯祺可能使用了诸如TF-IDF或者词向量来表示问题，然后通过某种机器学习模型（如XGBoost）训练一个分类器来预测问题对是否重复。在评估过程中，他可能对模型的性能进行了交叉验证，并分析了错误案例，以改进模型效果。