大数据技术体系图谱 演讲人 2021-08-08 大数据技术体系图谱全文共96页，当前为第1页。 目录 01. 数据采集 07. 数据应用 03. 数据存储 05. 基础技术 02. 数据传输 04. 数据处理 06. 数据治理 大数据技术体系图谱全文共96页，当前为第2页。 01 数据采集 大数据技术体系图谱全文共96页，当前为第3页。 日志采集 埋点 PC 打点 移动端打点 服务端打点 采集框架 Logstash Flume Fluentd Chukwa 大数据技 体系图谱全文共96页，当前为第4页。 外部数据 网络数据采集 文本 图片 视频 爬虫技术 Nutch Heritrix Scrapy WebCollector 大数据技术体系图谱全文共96页，当前为第5页。 数据采集 IoT设备 传感器 探针 大数据技术体系图谱全文共96页，当前为第6页。 02 数据传输 大数据技术体系图谱全文共96页，当前为第7页。 数据传输 消息队列 数据同步 数据订阅 序列化 大数据技术体系图谱全文共96页，当前为第8页。 数据传输 消息队列 Kafka ActiveMQ RabbitMQ RocketMQ ZeroMQ 5. 4. 3. 2. 1. 大数据技术体系图谱全文共96页，当前为第9页。 数据传输 数据同步 DataX Kettle Cannal Sqoop SymmetricDS OGG(Oracle Golden Gate) 大数据技术体系图谱全文共96页，当前为第10页。 数据传输 数据订阅 Databus 01 Wormhole 03 Otter 02 阿里云 DTS 04 大数据技术体系图谱全文共96页，当前为第11页。 数据传输 序列化 JSON 01 Protobuf 02 Hessian 03 FST 04 MessagePack 05 Avro 06 大数据技术体系图谱全文共96页，当前为第12页。 序列化 数据传输 Kryo 大数据技术体系图谱全文共96页，当前为第13页。 03 数据存储 大数据技术体系图谱全文共96页，当前为第14页。 数据存储 分布式文件/对象存储 02 物理存储 01 分布式关系型数据库 03 分析型数据库 04 搜索引擎 05 K-V存储 06 大数据技术体系图谱全文共96页，当前为第15页。 数据存储 图数据库 列存储数据库 文档数据库 时序数据库 大数据技术体系图谱全文共96页，当前为第16页。 数据存储 物理存储 主流框架 01 存储类型 02 大数据技术体系图谱全文共96页，当前为第17页。 直连式存储(DAS:Direct-Attached Storage) 网络化存储(FAS:Fabric-Attached Storage) 网络接入存储(NAS:Network-Attached Storage) 存储区域网络(SAN:Storage Area Network) 主流框架 大数据技术体系图谱全文共96页，当前为第18页。 块存储 磁盘阵列 DAS SAN 文件存储 FTP NFS NAS 对象存储 存储类型 大数据技术体系图谱全文共96页，当前为第19页。 数据存储 分布式文件/对象存储 COS(腾讯云) 02 OSS(阿里云) 01 OBS(华为云) 03 KODO(七牛云) 04 UFile(UCloud) 05 HDFS 06 大数据技术体系图谱全文共96页，当前为第20页。 数据存储 分布式文件/对象存储 Ceph 02 Open Stack Swift 01 GlasterFS 03 Facebook Hasystack 04 Lustre 05 AFS 06 大数据技术体系图谱全文共96页，当前为第21页。 OSS(阿里云) 01 06 UFile(UCloud) 03 KODO(七牛云) OBS(华为云) HDFS 02 COS(腾讯云) 04 05 分布式文件/对象存储 单击此处添加文本具体内容，简明扼要的阐述您的观点。根据需要可酌情增减文字，以便观者准确的理解您传达的思想。 单击此处添加标题 大数据技术体系图谱全文共96页，当前为第22页。 分布式文件/对象存储 Ceph 02 Open Stack Swift 01 GlasterFS 03 Facebook Hasystack 04 Lustre 05 AFS 06 大数据技术体系图谱全文共96页，当前为第23页。 数据存储 分布式关系型数据库 DRDS TiDB Cobar Mycat Aurora 5. 4. 3. 2. 1. 大数据技术体系图谱全文共96页，当前为第24页。 分布式关系型数据库 DRDS TiDB Cobar Mycat Aurora 大数据技术体系图谱全文共96页，当前为第25
