基于大数据的数据清洗研究.pdf资源-CSDN文库

需积分: 8 199 浏览量 2022-12-24 11:34:31 上传评论收藏 1.19MB PDF 举报

收稿日期：２０１８－０５－１６；修订日期：２０１８－０６－１３作者简介：康鲲鹏（１９７６－），男，副教授，硕士，主要研究方向：智能计算、大数据。基金项目：河南省科技攻关项目（Ｎｏ．１８２１０２２１０４８６）；河南省高等学校重点科研项目（Ｎｏ．１８Ａ５２０００８）。第３６卷　第４期２０１８年８月江　　西　　科　　学ＪＩＡＮＧＸＩ　ＳＣＩＥＮＣＥＶｏｌ．３６Ｎｏ．４Ａｕｇ．２０１８　　ｄｏｉ：１０．１３９９０／ｊ．ｉｓｓｎ１００１－３６７９．２０１８．０４．０２４基于大数据的数据清洗研究康　鲲　鹏（商丘师范学院信息技术学院，４７６０００，河南，商丘）摘要：大数据具有体量大、来源和格式多样、增长速度快、价值密度低和处理难度大的特点，即使通过合理设计参数对某段数据进行点估计的结果可能相当令人满意，但通过应用标准统计程序对整个数据体进行精度估计得到的结果，却是差强人意，从而误导人们。目的旨在分析影响大数据清洗的主要因素有哪些，首先回顾了数据获取对时间序列的依赖性并构造了一个大数据模型，然后在列出数据估计时所用的一些属性后，给出了数据清洗时的回归分析，同时探讨回归系数估计的可能影响。最后给出了大数据处理中误差累积的通用表示方法，提出了与时间序列理论中短程和长程依赖之间的区别大致相同的问题。关键词：数据清洗；方差分量；大数据；长程依赖；多级模型；时间序列中图分类号：ＴＰ３０１．６　　　　文献标识码：Ａ　　　　文章编号：１００１－３６７９（２０１８）０４－６５４－０４ＲｅｓｅａｒｃｈｏｎＤａｔａＣｌｅａｎｉｎｇＢａｓｅｄｏｎＢｉｇＤａｔａＫＡＮＧＫｕｎｐｅｎｇ（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＳｈａｎｇｑｉｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，４７６０００，Ｓｈａｎｇｑｉｕ，Ｈｅｎａｎ，ＰＲＣ）Ａｂｓｔｒａｃｔ：Ｂｉｇｄａｔａｈａｓｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｌａｒｇｅｖｏｌｕｍｅ，ｄｉｖｅｒｓｅｓｏｕｒｃｅｓａｎｄｆｏｒｍａｔｓ，ｒａｐｉｄｇｒｏｗｔｈ，ｌｏｗｖａｌｕｅｄｅｎｓｉｔｙａｎｄｄｉｆｆｉｃｕｌｔｐｒｏｃｅｓｓｉｎｇ．Ｅｖｅｎｉｆｔｈｅｒｅｓｕｌｔｏｆａｐｏｉｎｔｅｓｔｉｍａｔｉｏｎｏｆａｐｉｅｃｅｏｆｄａｔａｗｉｔｈａｒｅａｓｏｎａｂｌｅｄｅｓｉｇｎｐａｒａｍｅｔｅｒｍａｙｂｅｑｕｉｔｅｓａｔｉｓｆａｃｔｏｒｙ，ｂｕｔｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｅｎｔｉｒｅｄａｔａｂｏｄｙｔｈｒｏｕｇｈｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｓｔａｎｄａｒｄｓｔａｔｉｓｔｉｃａｌｐｒｏｃｅｄｕｒｅｓｔｏｅｓｔｉｍａｔｅｔｈｅｒｅｓｕｌｔｓｍａｙｓｔｉｌｌｂｅｕｎｓａｔｉｓｆａｃｔｏｒｙ，ｔｈｕｓｍｉｓｌｅａｄｉｎｇｐｅｏｐｌｅ．Ｔｈｅｐｕｒｐｏｓｅｏｆｔｈｉｓｐａｐｅｒｉｓｔｏａｎａｌｙｚｅｔｈｅｍａｉｎｆａｃｔｏｒｓａｆｆｅｃｔｉｎｇｂｉｇｄａｔａｃｌｅａｎｉｎｇ．Ｔｈｅａｒｔｉｃｌｅｆｉｒｓｔｒ在信息技术迅猛发展的当下，大数据已经成为了不可或缺的资源，它的广泛应用覆盖了社会生活的方方面面。然而，随之而来的挑战也不容忽视，其中数据清洗工作尤为复杂且重要。数据清洗的目的是提升数据质量，去除噪声、不一致性以及错误信息，这对于确保后续的数据分析和数据挖掘能够得出可靠结论至关重要。本文基于对大数据特点的深刻认识，从多角度对数据清洗进行了深入研究。大数据的核心特征是体量大、来源和格式多样、增长速度快、价值密度低以及处理难度大。即使是通过合理设计的参数对某段数据进行点估计的结果可能相当令人满意，但当我们试图使用标准统计程序对整个数据集进行精度估计时，得到的结果往往不尽如人意。这一现象的背后，是大数据的体量、动态性和复杂性共同作用的结果，导致即便是细致的数据清洗工作也难以涵盖所有潜在的问题。为应对这些挑战，康鲲鹏副教授及其研究团队深入分析了影响大数据清洗的主要因素，并提出了解决方案。文章首先回顾了数据获取对时间序列的依赖性，并构建了一个大数据模型。该模型反映了数据的动态变化特征，这对于清洗策略的选择至关重要。在数据量庞大的情况下，要从时间序列的角度理解数据变化趋势，才能更准确地把握数据的时效性，从而做出合理清洗。文章接着讨论了数据估计中所使用的属性，如均值、方差等，并基于这些属性给出了数据清洗时的回归分析方法。回归分析是研究变量间关系的重要手段，它可以揭示变量间相互影响的大小和方向。在大数据环境中，正确估计回归系数对于理解数据的内在关联和预测未来趋势至关重要。然而，由于大数据体量庞大，回归分析的过程和结果都可能受到非线性关系、异常值和多重共线性等问题的干扰。因此，研究者必须对这些潜在影响因素加以考量，并采取适当的策略处理。大数据处理过程中的误差累积问题也不容忽视。由于数据体量庞大，任何微小的错误都可能在处理过程中被放大，造成分析结果的偏差。为了解决这一问题，文章提出了一种通用的误差累积表示方法。该方法有助于研究者识别和控制清洗过程中的误差传播，保证了数据清洗的精准性。此外，文章还特别关注了长程依赖的概念。长程依赖通常出现在时间序列分析中，它指的是一段时间序列中过去的状态对当前状态的影响能够持续较长时间。这一概念对大数据清洗提出了额外的复杂性。研究者需要在大数据环境下，理解并处理长程依赖与短程依赖的区别。这要求研究者不仅要在技术上有所突破，还要对时间序列理论有深刻的理解。基于大数据的数据清洗研究主要涉及以下几个方面：理解数据获取的时间序列依赖性、运用回归分析进行数据清洗、评估回归系数估计的影响、处理误差累积以及识别和处理长程依赖。这些研究为大数据环境下的数据预处理提供了理论基础和实用策略，有助于提升数据分析的准确性和可靠性。对于从事智能计算和大数据研究的人员来说，理解和掌握这些知识点对提升数据分析效率和质量具有重要意义。未来的研究需要进一步深入探讨大数据清洗的自动化与智能化，以期在保证清洗质量的同时，进一步提高清洗效率。

资源推荐

资源详情

资源评论