大数据应用案例分析.doc

在如今这个大数据的时代里，人人都希望能够借助大数据的力量：电商希望能够借助大 数据进一步获悉用户的消费需求，实现更为精准的营销;网络安全从业者希望通过大数据 更早洞悉恶意攻击者的意图，实现主动、超前的安全防护;而骇客们也在利用大数据，更 加详尽的挖掘出被攻击目标信息，降低攻击发起的难度。 　　大数据应用最为典型的案例是国外某著名零售商，通过对用户购买物品等数据的分 析，向该用户——一位少女寄送了婴儿床和衣服的优惠券，而少女的家人在此前对少女怀 孕的事情一无所知。大数据的威力正在逐步显现，银行、保险公司、医院、零售商等等 诸多企业都愈发动力十足的开始搜集整理自己用户的各类数据资料。但与之相比极度落 后的数据安全防护措施，却让骇客们乐了：如此重要的数据不仅可以轻松偷盗，而且还 是整理好的，凭借这些数据骇客能够发起更具"真实性"的欺诈攻击。好在安全防御者们 也开始发现利用大数据抵抗各类恶意攻击的方法了。 　　扰动安全的大数据 　　2014年IDC在"未来全球安全行业的展望报告"中指出，预计到2020年信息安全市场规 模将达到500亿美元。与此同时，安全威胁的不断变化、IT交付模式的多样性、复杂性以 及数据量的剧增，针对信息安全的传统以控制为中心的方法将站不住脚。预计到2020年 ，60%的企业信息化安全预算将会分配到以大数据分析为基础的快速检测和响应的产品上 。 　　瀚思(HanSight)联合创始人董昕认为，借助大数据技术网络安全即将开启"上帝之眼 "模式。"你不能保护你所不知道的"已经成为安全圈的一句名言，即使部署再多的安全防 御设备仍然会产生"不为人知"的信息，在各种不同设备产生的海量日志中发现安全事件 的蛛丝马迹非常困难。而大数据技术能将不同设备产生的海量日志进行集中存储，通过 数据格式的统一规整、自动归并、关联分析、机器学习等方法，自动发现威胁和异常行 为，让安全分析更简单。同时通过丰富的可视化技术，将威胁及异常行为可视化呈现出 来，让安全看得见。 　　爱加密CEO高磊提出，基于大数据技术能够从海量数据中分析已经发生的安全问题、 病毒样本、攻击策略等，对于安全问题的分析能够以宏观角度和微观思路双管齐下找到 问题根本的存在。所以，在安全领域使用大数据技术，可以使原本单一攻防分析转为基 于大数据的预防和安全策略。大数据的意义在于提供了一种新的安全思路和解决办法， 而不仅仅是一种工具，单纯的海量数据是没有意义的。如果大数据领域运用得当，可以 十分便捷地和安全领域进行结合，通过对数据分析所得出的结论反映出安全领域所存在 漏洞问题的方向，从而针对该类漏洞问题制定出相对应的解决方法。 　　卡巴斯基技术开发()XX大中华区技术总监陈羽兴强调，大数据对于安全公司是件杀 敌利器，对于黑客来说也是一块巨大的"奶酪"，而这块"奶酪"有时候不仅仅是存放在一 个地方，如果仍然使用传统的防X手段——端点、网络、加密等——是不足以抵挡黑客的，所 以作为安全公司不仅要着力去完善自家的解决方案，同时在整个产业链各个环节的企业 都要开放，形成产业协同。 　　其实云计算的大热，就已经让用户和云服务提供商愈加意识到云安全的重要性，云 安全则更需要大数据。作为客户数据托管方的云服务提供商，客户最关注的是服务提供 商保证他们的数据安全：既不丢失也不被非法访问，且遵从法规要求。即使是在企业的 私有云中，各个部门之间的信息安全也必须考虑，特别是财务数据、客户信息等。由于 数据的集中，云所需要处理的数据可能是PB级甚至更大，如此大的数据量是传统安全分 析手段根本处理不了的，只有依靠大数据分布式计算技术对海量数据进行安全分析。 　　排兵布阵情报先行 　　近两年，安全企业就如何运用大数据于网络安全中费尽了脑筋，而安全威胁情报可 以说是大数据技术在网络安全防御环节里比较成熟的应用。 　　什么是安全威胁情报？形象地说，人们经常可以从CERT、安全服务厂商、防病毒厂 商、政府机构和安全组织那里看到安全预警通告、漏洞通告、威胁通告等等，这些都属 于典型的安全威胁情报。而随着新型威胁的不断增长，也出现了新的安全威胁情报，例 如僵尸网络地址情报(Zeus/SpyEye Tracker)、0day漏洞信息、恶意URL地址情报，等等。 　　陈羽兴举了一个十分有趣的例子：中国股市刚刚兴起时，人们要去证券大厅了解行 情，门口摆摊卖茶叶蛋的老太太虽然不懂股票，但是她懂一个道理：茶叶蛋生意清淡的 时候买入、茶叶蛋生意火爆的时候卖出。其实茶叶蛋本身的销量数据不会直接导致股票 的涨跌，但是这两者之间存在"相关性"，大数据环境下的安全威胁情报也是如此。 　　目前，无论国内还是国外对安全威胁情报系统的建设都普遍参考STIX标准框架，它 有几个关键点：时效性、完整的攻击链条(包括：攻击行动、攻击入口、攻击目标