你将收获

1.什么是大数据?2.大数据的核心问题3.大数据的核心思想(Google的三篇论文) (1)GFS(Google的分布式文件系统) (2)MapReduce(分布式计算模型) (3)BigTable(大表)4.Hadoop和Spark生态体系 Demo演示

适用人群

零基础学员,或者想进一步学习大数据的学员。

课程介绍

大数据技术入门视频课程,会从基础思想和原理架构开始,全面介绍大数据的思想体系和架构,为学员进一步学习大数据奠定良好的基础。内容涉及大数据的核心问题、大数据核心思想,Google的三篇论文、GFS,Google的分布式文件系统,MapReduce,BigTable、Hadoop和Spark生态体系以及具体应用演示。
讨论留言

正在加载中...

同学笔记

  • luchuxi12345 2021-01-07 17:16:00

    来源:大数据的起源和核心思想-6 查看详情

    路线:

    1.  Java 基础 :Java SE

    2. Hadoop : HDFS 、Yarn 、MapReduce 、HBase 、Hive 、 ZooKeeper

    3. spark

    4. Storm :大数据实时计算引擎

    5.Redis : 内存NoSQL数据库

    6.scala编程语言

    7. Spark: Spark core 、 spark SQL、 spark streaming 等

    8. Apache Kafka

  • luchuxi12345 2021-01-07 16:58:11

    来源:大数据的起源和核心思想-5 查看详情

    一些命令

    hdfs dfs -命令

    jps 查看所有java进程

    hadoop jar *.jar wordcount

    先Hadoop 在spark

    1. spark 和 hadoop 没有关系

    2.spark 可以处理hdfs文件中的数据

    spark-shell --master spark://bigdata111:7077

    scala 语言

  • luchuxi12345 2021-01-07 15:43:25

    来源:大数据的起源和核心思想-3 查看详情

    客户端与服务器端数据传输模式:

    1. 客户端上传数据到服务器

    2. 数据块进行水平复制

    HDFS体系 架构:

    主节点:NameNode(管理员)

    从节点:DataNode

    第二名称节点:SecondaryNameNode

    Hadoop安装部署模式:

    1. 本地模式

    2. 伪分布模式

    3. 全分布模式

    全分布式环境至少需要3台机器,其他模式只需要1台

     

    伪分布模式1台机器,节点进程包括:NameNode、DataNode、SecondaryNameNode

     

     

     

     

没有更多了