网络数据科学与工程.pdf

网络数据科学与工程 网络数据科学与工程是指研究大数据的处理、分析和应用的交叉学科。随着数据量的指数级增长，大数据研究已经成为科研的热点。2012年5月22～24日，在北京召开的香山科学会议第424次学术讨论会围绕大数据应用挑战、网络大数据科学的共性理论基础和网络大数据工程的良性生态环境三个中心议题进行了深入探讨。 大数据科学与工程面临的挑战性问题与学科基础 大数据的挑战包括高效处理非结构化和半结构化数据、合适的数据表示方法、寻找高扩展性的数据分析技术、数据的去冗余和高效率低成本的数据存储、大幅度降低数据处理、存储和通信的能耗、构建融合人、机、物三元世界的大数据系统等。这些挑战需要对整个IT架构进行革命性的重构。 网络数据科学研究的对象究竟是什么？许多学者认为数据科学要把数据当成自然体（Data Nature）来研究，试图把计算机科学划归为自然科学。网络数据科学应发现网络数据（信息）产生与传播的规律、网络信息涌现的内在机制以及与其相关的社会学、心理学、经济学和信息科学的机理。 大数据科学与工程的学科基础探讨 大数据科学与工程涉及到多个学科领域，包括数据科学、数据工程、数据挖掘、信息科学、信息论、信息工程、知识工程以及知识发现等。这些学科的研究范围与重点各不相同。大数据往往以复杂关联的数据网络这样一种独特的形式存在，因此要理解大数据就要对大数据后面的网络进行深入分析。 大数据科学 致力于从大数据中发现新知识。数据量的增加是否会引起科研模式本质性的改变，相互关系是否比因果关系更能反映事物的本质，还需要更多的科研实践来验证。但可以断言，20世纪是量子力学的世纪，到了21世纪，数据网络理论将成为量子力学可尊敬的后继。 大数据研究的新趋势 随着大数据研究的发展，新的挑战和机遇不断涌现。例如，大数据研究被国外一些学者称之为科研“第四范式”，强调不需要事先给出假设和模型，可以直接从数据的相互关系中求解问题，甚至认为大数据研究方法是“理论的终结”。 大数据分析不能停留在获得概率分布结果，也不能满足于对细节问题的数据挖掘，而是要争取从大数据中获得新知识。应优先选择“预言性数据挖掘问题”做研究，即数据规模大到一定程度，就可以解决以前解决不了的问题，实现社会科学的“变革式”进步。 大数据研究的应用前景 大数据研究的应用前景非常广阔，包括但不限于科学研究、商业应用、社会服务等。例如，在科学研究中，大数据可以用于 simulatecomplex systems、predict outcomes、optimize processes等。在商业应用中，大数据可以用于改进客户服务、优化供应链、预测市场趋势等。在社会服务中，大数据可以用于改进公共服务、预测社会趋势、优化资源配置等。 大数据科学与工程是一个新兴的交叉学科，它的发展将对科学研究、商业应用和社会服务产生深远的影响。