查礼:大数据技术如何用于传统信息系统
该文档来自2013中国大数据技术大会《总裁论坛:传统行业如何驾驭大数据》上,中科院计算所副研究员查礼关于《大数据技术如何用于传统信息系统》主题的演讲。
该文档来自2013中国大数据技术大会《总裁论坛:传统行业如何驾驭大数据》上,中科院计算所副研究员查礼关于《大数据技术如何用于传统信息系统》主题的演讲。
该文档来自MDCC2013中国移动开发者大会上,《大姨吗》创始人柴可关于如何逾越行业的鸿沟:“大姨吗”的反思与心得主题的演讲,更多请参见 MDCC 2013专题:http://special.csdncms.csdn.net/mdcc2013/ 。
该文档来自MDCC2013中国移动开发者大会上,《Blued》创始人耿乐关于粉红经济下的移动互联网产品的演讲,更多请参见 MDCC 2013专题:http://special.csdncms.csdn.net/mdcc2013/ 。
该文档来自MDCC2013中国移动开发者大会上,《嘀嘀打车》联合创始人吴睿关于出租车行业变革与O2O发展主题的演讲,更多请参见MDCC 2013专题:http://special.csdncms.csdn.net/mdcc2013/。
360的云架构服务器总数接近1000台,部署在全国近100个IDC中。使用HDFS提供在线下载服务一年多,稳定性得到了考验,极大降低了运维工作量并且提高了服务的可靠性。
淘宝为解决数据的急剧膨胀,文件数的不断增多,Block随之成倍的增长,内存的急剧上涨,一致性保证造成的性能瓶颈,内存的数据结构复杂,Meta服务依靠NameNode的启停,部分meta数据没有持久化等问题,重新设计部署了架构,对NameNode和client进行改进,引入了BlockChecker和Datanode。
在大数据时代,分析是成功的关键。GreenPlum的标准分析平台,构架于私有或者混合的云应用基础设施上,以数据科研小组为中心。而数据科研小组将成为获得成功的核心推动力。
Hadoop已经成为了大数据的分布式操作系统的核心技术,一个事实上的标准。下一步,Apache Hadoop将提高HDFS的性能,可扩展性和可用性。
Facebook选择了HBase,因为它具有高吞吐量,非常良好的随机读取性能,很不错的扩展性,也具有自动备缓功能,很强的兼容性和HDFS的优点。Facebook通常将Small Message,Message metadata和搜索索引存储在HBase中。