浅谈数据挖掘与数据分析？.pdf

浅谈数据挖掘与数据分析？ 浅谈数据挖掘与数据分析？ 和数据挖掘都可以做为"玩数据"的⽅法论，两者有很多的共性，也有显著的差异。从分析的⽬的来看，数据分析⼀般是对历史数据进⾏ 统计学上的⼀些分析，数据挖掘更侧重于机器对未来的预测，⼀般应⽤于分类、聚类、推荐、关联规则等。 数据分析(狭义)与数据挖掘的本质都是⼀样的，都是从数据⾥⾯发现关于业务的知识(有价值的信息)，从⽽帮助业务运营、改进产品以及 帮助企业做更好的决策. 从分析的过程来看，数据分析更侧重于统计学上⾯的⼀些⽅法，经过⼈的推理演译得到结论;数据挖掘更侧重由机器进⾏⾃学习，直接到 得到结论。 从分析的结果看，数据分析的结果是准确的统计量，⽽数据挖掘得到的⼀般是模糊的结果。 '数据分析'的重点是观察数据，'数据 挖掘'的重点是从数据中发现'知识规则'KDD(Knowledge Discover in Database)。 '数据分析、数据统计'得出的结论是⼈的智⼒活动结果，'数据挖掘'得出的结论是机器从学习集(或训练集、样本集)发现的知识规则。 '数 据分析'需要⼈⼯建模，'数据挖掘'⾃动完成数学建模。 数据挖掘与数据分析的主要区别是什么 1、计算机编程能⼒的要求 作为数据分析很多情况下需要⽤到成型的分析⼯具，⽐如EXCEL、，或者SAS、R。很多的数据分析⼈员做的⼯作都是从原始数据到各 种拆分汇总，再经过分析，最后形成完整的分析报告。当然原始数据可以是别⼈提供，也可以⾃⼰提取(作为⼀名合格的数据分析师，懂点 SQL知识是很有好处的)。 ⽽数据挖掘则需要有编程基础。为什么这样说呢?举两个理由：第⼀个，⽬前的数据挖掘⽅⾯绝⼤多数是⾪属于计 算机系;第⼆点，在招聘岗位上，国内⽐较⼤的公司挂的岗位名称⼤多数为'数据挖掘⼯程师'。从这两点就可以明确看出数据挖掘跟计算机跟 编程有很⼤的联系。 2、在对⾏业的理解的能⼒ 要想成为⼀名优秀的数据分析师，对于所从事的⾏业有⽐较深的了解和理解是必须要具备的，并且能够将数据与⾃⾝的业务紧密结合起 来。简单举个例⼦来说，给你⼀份业务经营报表，你就能在脑海中勾画出⽬前经营状况图，能够看出哪⾥出现了问题。但是，从事数据挖掘 不⼀定要求对⾏业有这么⾼的要求。 3、专业知识⾯的要求 数据分析师出对⾏业要了解外，还要懂得⼀些统计学、营销、经济、⼼理学、社会学等⽅⾯的知识，当然能了解数据挖掘的⼀些知识会 更好。数据挖掘⼯程师则要求要⽐较熟悉数据库技术、熟悉数据挖掘的各种算法，能够根据业务需求建⽴数据模型并将模型应⽤于实际，甚 ⾄需要对已有的模型和算法进⾏优化或者开发新的算法模型。想要成为优秀的数据挖掘⼯程师，良好的数学、统计学、数据库、编程能⼒是 必不可少的。 总之⼀句话来概括的话，数据分析师更关注于业务层⾯，数据挖掘⼯程师更关注于技术层⾯。 数据分析师与数据挖掘⼯程师的相似点： 1、都跟数据打交道。 他们玩的都是数据，如果没有数据或者搜集不到数据，他们都要丢饭碗。 2、知识技能有很多交叉点。 他们都需要懂统计学，懂数据分析⼀些常⽤的⽅法，对数据的敏感度⽐较好。 3、在职业上他们没有很明显的界限。 很多时候数据分析师也在做挖掘⽅⾯的⼯作，⽽数据挖掘⼯程师也会做数据分析的⼯作，数据分析也有很多时候⽤到数据挖掘的⼯具和 模型，很多数据分析从业者使⽤SAS、R就是⼀个很好的例⼦。⽽在做数据挖掘项⽬时同样需要有⼈懂业务懂数据，能够根据业务需要提出 正确的数据挖掘需求和⽅案能够提出备选的算法模型，实际上这样的⼈⼀脚在数据分析上另⼀只脚已经在数据挖掘上了。 事实上没有必要将 数据分析和数据挖掘分的特别清，但是我们需要看到两者的区别和联系，作为⼀名数据⾏业的从业者，要根据⾃⾝的特长和爱好规划⾃⼰的 职业⽣涯，以寻求⾃⾝价值的最⼤化。 数据分析与数据挖掘的区别 数据分析可以分为⼴义的数据分析和狭义的数据分析，⼴义的数据分析就包括狭义的数据分析和数据挖掘，我们常说的数据分析就是指 狭义的数据分析。 数据分析(狭义)： (1)定义：简单来说，数据分析就是对数据进⾏分析。专业的说法，数据分析是指根据分析⽬的，⽤适当的统计分析⽅法及⼯具，对收集 来的数据进⾏处理与分析，提取有价值的信息，发挥数据的作⽤。 (2)作⽤：它主要实现三⼤作⽤：现状分析、原因分析、预测分析(定量)。 数据分析的⽬标明确，先做假设，然后通过数据分析来验证假设是否正确，从⽽得到相应的结论。 (3)⽅法：主要采⽤对⽐分析、分组分 析、交叉分析、回归分析等常⽤分析⽅法; (4)结果：数据分析⼀般都是得到⼀个指标统计量结果，如总和、平均值等，这些指标数据都需要 与业务结合进⾏解读，才能发挥出数据的价值与作⽤; 数据挖掘： (1)定义：是指从⼤量的数据中，通过统计学、⼈⼯智能、机器学习等⽅法，挖掘出未知的、且有价值的信 数据挖掘与数据分析是数据科学领域的两个重要分支，它们在实践中有着密切的联系，但也有显著的差异。从分析目的来看，数据分析通常是对历史数据进行统计分析，以揭示历史趋势和模式，而数据挖掘更注重利用机器学习方法对未来进行预测，如分类、聚类、推荐系统和关联规则分析。 在分析过程中，数据分析倾向于使用统计学方法，通过人的推理和演绎得出结论，这需要分析师对业务有深入的理解，并能够解释统计结果。数据挖掘则更多地依赖于自动化算法，让机器通过学习过程直接得出结论。数据挖掘的结果往往具有一定的不确定性，如概率分布或置信区间，而数据分析则倾向于提供精确的统计量。 在技能要求方面，数据分析可能使用Excel、SAS或R等工具，而数据挖掘通常需要更强的编程能力，如Python或Java，因为数据挖掘工程师需要编写代码来实现算法和模型。此外，数据分析对行业知识的理解要求较高，需要将数据与业务场景紧密结合，而数据挖掘工程师则更专注于技术层面，可能对行业理解的要求不如分析师高。 在专业知识面上，数据分析师需要掌握统计学、市场营销、经济学等相关领域知识，而数据挖掘工程师则需要熟悉数据库技术、各种数据挖掘算法，并有能力构建和应用数据模型。成为优秀数据挖掘工程师需要扎实的数学、统计学、数据库和编程基础。 尽管有这些差异，数据分析师和数据挖掘工程师之间有许多交集。他们都与数据打交道，需要掌握统计学知识和分析技巧，有时会在工作中相互渗透。例如，数据分析师可能会使用数据挖掘工具和模型，而数据挖掘工程师也需要理解业务背景来设计有效的挖掘策略。 数据分析可以分为广义和狭义两种，狭义的数据分析主要涉及现状分析、原因分析和预测分析，通过对比分析、分组分析、交叉分析和回归分析等方法来提取信息。而数据挖掘更广泛，不仅包括这些分析，还包括利用机器学习算法从大量数据中发现未知的、有价值的知识。 数据挖掘与数据分析都是从数据中提取价值的过程，但它们的侧重点不同。数据分析偏重于业务理解和解释，而数据挖掘则更强调技术实现和预测能力。作为数据行业从业者，理解这两者的区别和联系至关重要，以便根据自身兴趣和技能规划职业生涯，最大化个人价值。