浅谈七种常见的Hadoop和Spark项目案例
123 浏览量
2021-01-10
16:19:48
上传
评论
收藏 101KB PDF 举报
浅谈七种常见的浅谈七种常见的Hadoop和和Spark项目案例项目案例
有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别
人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，
但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。
项目一：数据整合项目一：数据整合
称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获
得数据源（实时或批处理）并且把它们存储在hadoop中。有时，这是成为一个“数据驱动的公司”的第一步；有时，或许你仅仅
需要一份漂亮的报告。“企业级数据中心”通常由HDFS文件系统和HIVE或IMPALA中的表组成。未来，HBase和Phoenix在大数
据整合方面将大展拳脚，打开一个新的局面，创建出全新的数据美丽新世界。
销售人员喜欢说“读模式”，但事实上，要取得成功，你必须清楚的了解自己的用例将是什么（Hive模式不会看起来与你在企业
数据仓库中所做的不一样）。真实的原因是一个数据湖比Teradata和Netezza公司有更强的水平扩展性和低得多的成本。许多
人在做前端分析时使用Tabelu和Excel。许多复杂的公司以“数据科学家”用Zeppelin或IPython笔记本作为前端。
项目二：专业分析项目二：专业分析
许多数据整合项目实际上是从你特殊的需求和某一数据集系统的分析开始的。这些往往是令人难以置信的特定领域，如在银行
领域的流动性风险/蒙特卡罗模拟分析。在过去，这种专业的分析依赖于过时的，专有的软件包，无法扩大数据的规模经常遭
受一个有限的功能集（大部分是因为软件厂商不可能像专业机构那样了解的那么多）。
在Hadoop和Spark的世界，看看这些系统大致相同的数据整合系统，但往往有更多的HBase，定制非SQL代码，和更少的数
据来源（如果不是唯一的）。他们越来越多地以Spark为基础。
项目三：项目三：Hadoop作为一种服务作为一种服务
在“专业分析”项目的任何大型组织（讽刺的是，一个或两个“数据整理”项目）他们会不可避免地开始感觉“快乐”（即，疼痛）管
理几个不同配置的Hadoop集群，有时从不同的供应商。接下来，他们会说，“也许我们应该整合这些资源池，”而不是大部分
时间让大部分节点处于资源闲置状态。它们应该组成云计算，但许多公司经常会因为安全的原因（内部政治和工作保护）不能
或不会。这通常意味着很多Docker容器包。
我没有使用它，但最近Bluedata（蓝色数据国际中心）似乎有一个解决方案，这也会吸引小企业缺乏足够的资金来部署
Hadoop作为一种服务。
项目四：流分析项目四：流分析
很多人会把这个“流”，但流分析是不同的，从设备流。通常，流分析是一个组织在批处理中的实时版本。以反洗钱和欺诈检
测：为什么不在交易的基础上，抓住它发生而不是在一个周期结束？同样的库存管理或其他任何。
在某些情况下，这是一种新的类型的交易系统，分析数据位的位，因为你将它并联到一个分析系统中。这些系统证明自己如
Spark或Storm与Hbase作为常用的数据存储。请注意，流分析并不能取代所有形式的分析，对某些你从未考虑过的事情而
言，你仍然希望分析历史趋势或看过去的数据。
项目五：复杂事件处理项目五：复杂事件处理
评论0