Spark-图计算GraphX

1.1基本概念图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模，图可以用来表示自然发生的连接数据，如：社交网络、互联网web页面常用的应用有：在地图应用中找到最短路径、基于与他人的相似度图，推荐产品、服务、人际关系或媒体1.2.1顶点和边一般关系图中，事物为顶点，关系为边1.2.2有向图和无向图在有向图中，一条边的两个顶点一般扮演者不同的角色，比如父子关系、页面A连接向页面B；在一个无向图中，边没有方向，即关系都是对等的，比如qq中的好友。GraphX中有一个重要概念，所有的边都有一个方向，那么图就 Spark-图计算GraphX是Apache Spark的一个扩展，用于处理图数据和执行图计算。图计算在数据科学领域中越来越重要，因为它能有效地处理复杂的关系数据，例如社交网络、网页链接等。Spark GraphX提供了一个高效的API，使得在分布式环境下进行图处理变得简单。 **基本概念** 1. **图**: 图由顶点（Vertex）和边（Edge）构成，用来表示对象及其相互关系。在图计算中，顶点可以代表人、网页、交易等实体，而边则表示它们之间的关系，如朋友关系、链接关系等。 2. **有向图与无向图**: 在有向图中，边有方向，比如父亲指向儿子的关系。而在无向图中，边没有方向，比如好友关系。在Spark GraphX中，所有边默认都是有向的。 3. **有环图与无环图**: 有环图存在顶点形成环路的情况，无环图则不存在。无环图在算法设计中更容易处理，因为它们不会导致无限循环。 4. **度、出边、入边、出度、入度**: 度是顶点所有边的数量，出边是从当前顶点出发的边，入边是到达当前顶点的边。出度和入度分别对应出边和入边的数量。 **图处理技术** 1. **图数据库**: 包括Neo4j、Titan、OrientDB等，用于存储和查询图数据，通常支持图遍历算法。 2. **图数据查询**: 用于查询图数据库中的内容，以获取所需信息。 3. **图数据分析**: 如Google Pregel、Spark GraphX、GraphLab，这些工具专注于图数据的分析和挖掘，提供强大的图计算能力。 4. **图数据可视化**: 通过可视化工具展示图数据，帮助理解复杂关系，如OLTP和OLAP风格的图数据库和图计算软件。 **图存储模式** 1. **边分割（Edge-Cut）**: 每个顶点存储一次，但边可能会被分割到不同机器，节省存储但增加通信成本。 2. **点分割（Vertex-Cut）**: 每条边仅存储一次，顶点可能被复制到多台机器，增加存储开销但减少通信。现在主流的图计算框架如GraphX采用点分割存储，因为考虑到通信效率和现代网络结构的特性。 **图计算模式** Spark GraphX遵循BSP（Bulk Synchronous Parallel）计算模式，计算过程分为超步（Superstep）： 1. **计算（Compute）**: 每个处理器使用上一步的消息和本地数据进行计算。 2. **消息传递（Message Passing）**: 计算完成后，处理器之间传递消息。 3. **整体同步点（Global Barrier）**: 所有处理器完成当前超步后，进入下一个超步。 这种模式允许并行计算，同时通过同步点确保数据一致性，适用于大规模分布式图计算。 Spark GraphX提供了一种强大且灵活的方式来处理和分析图数据，广泛应用于社交网络分析、推荐系统、网络爬虫等领域，它能够有效地挖掘隐藏在复杂关系中的模式和洞察。