• 稀疏矩阵核处理源清单模型操作

    大气排放源清单处理模型 Sparse Matrix Operator Kernel Emissions 大气污染源源清单处理模型手册

    0
    144
    18.92MB
    2020-08-20
    18
  • 工业大数据白皮书2019

    工业大数据产业应用联盟 1 前言............................................................................................................................1 1.1 研究背景........................................................................................................1 1.2 研究目标及意义............................................................................................1 2 工业大数据内涵........................................................................................................3 2.1 工业大数据的定义与边界............................................................................3 2.1.1 工业大数据的定义............................................................................3 2.1.2 工业大数据的边界............................................................................3 2.2 与智能制造的关系........................................................................................4 2.2.1 在智能制造中的应用........................................................................4 2.2.2 在智能制造标准体系中的定位........................................................5 2.3 与工业互联网的关系....................................................................................7 2.3.1 在工业互联网中的应用....................................................................8 2.3.2 在工业互联网标准体系中的定位....................................................9 3 工业大数据产业发展现状......................................................................................10 3.1 政策支撑......................................................................................................10 3.1.1 国际工业大数据战略......................................................................10 3.1.2 国内工业大数据政策......................................................................11 3.2 工业大数据应用参考架构..........................................................................14 3.3 典型应用场景..............................................................................................17 3.3.1 智能化设计......................................................................................18 II 3.3.2 智能化生产......................................................................................19 3.3.3 网络化协同制造..............................................................................21 3.3.4 智能化服务......................................................................................22 3.3.5 个性化定制......................................................................................23 3.4 产业发展分析..............................................................................................24 4 工业大数据关键技术..............................................................................................25 4.1 工业大数据技术架构..................................................................................25 4.2 工业大数据平台..........................................................................................27 4.3 工业大数据采集技术..................................................................................28 4.4 工业大数据存储与管理技术......................................................................29 4.4.1 多源异构数据管理技术..................................................................29 4.4.2 多模态数据集成技术......................................................................31 4.5 工业大数据分析技术..................................................................................32 4.5.1 时序模式分析技术..........................................................................33 4.5.2 工业知识图谱技术..........................................................................34 4.5.3 多源数据融合分析技术..................................................................34 4.6 工业大数据的前沿技术趋势......................................................................35 5 工业大数据管理......................................................................................................36 5.1 数据管理体系..............................................................................................36 5.2 数据资源编目..............................................................................................37 5.2.1 数据资源目录应用架构..................................................................37 5.2.2 数据资源编目..................................................................................38 III 5.3 数据质量管理..............................................................................................39 5.3.1 工业大数据质量问题......................................................................39 5.3.2 工业大数据质量检测方法..............................................................41 5.3.3 工业大数据质量管理......................................................................41 5.4 主数据管理..................................................................................................42 5.4.1 主数据管控体系..............................................................................43 5.4.2 主数据应用管理..............................................................................45 5.5 数据安全管理..............................................................................................46 5.5.1 工业大数据安全问题......................................................................46 5.5.2 工业大数据安全防护技术..............................................................46 5.5.3 工业大数据安全管理机制..............................................................48 6 工业大数据的标准体系..........................................................................................50 6.1 工业大数据标准化工作基础......................................................................50 6.1.1 国际标准化......................................................................................50 6.1.2 国内标准化......................................................................................50 6.2 工业大数据标准体系框架..........................................................................52 6.3 工业大数据标准明细表..............................................................................54 6.4 工业大数据重点标准描述..........................................................................55 7 下一步工作建议......................................................................................................56

    4
    296
    2.69MB
    2019-04-03
    50
  • 大数据之路-阿里巴巴大数据实践

    HW产品配置系统部部长推荐语: 几年前,有人提出“人类正从IT时代走向DT时代”,社会上也不少人著书立说,纷繁解读,大家一时躁动不止。今天,以物联网、云计算、大数据、人工智能等为代表的新技术革命正在渗透着各行各业,并在悄悄的深深的影响、改变着我们的生活。出门不用带钱包,一个手机几乎搞定了一切(扫个二维码),路边买个水果,街边买瓶水等等,我们已悄然走入了DT时代。在这个时代,我们比任何时候都要产生更大规模的数据、我们能收集到更加丰富的数据、并且比任何时候都需要大量数据。数据是什么、如何进行定义,如何进行治理、分析挖掘,让它背后潜藏的巨大价值为我们所用等等,推荐大家有空可以看看这本书,希望能为大家(从事数据管理的人)有所帮助。

    0
    0
    97.62MB
    2019-03-19
    7
  • Hadoop权威指南 第四版 原版

    第1章 初识Hadoop 1.1 数据!数据! 1.2 数据的存储与分析 1.3 相较于其他系统的优势 1.3.1 关系型数据库管理系统 1.3.2 网格计算 1.3.3 志愿计算 1.4 Hadoop发展简史 1.5 Apache Hadoop和Hadoop生态系统 1.6 Hadoop的发行版本 1.6.1 本书包含的内容 1.6.2 兼容性 第2章 关于MapReduce 2.1 气象数据集 2.2 使用Unix工具来分析数据 2.3 使用Hadoop来分析数据 2.3.1 map和reduce 2.3.2 Java MapReduce 2.4 横向扩展 2.4.1 数据流 2.4.2 combiner函数 2.4.3 运行分布式的MapReduce作业 2.5 Hadoop Streaming 2.5.1 Ruby版本 2.5.2 Python版本 2.6 Hadoop Pipes 第3章 Hadoop分布式文件系统 3.1 HDFS的设计 3.2 HDFS的概念 3.2.1 数据块 3.2.2 namenode和datanode 3.2.3 联邦HDFS 3.2.4 HDFS的高可用性 3.3 命令行接口 3.4 Hadoop文件系统 3.5 Java接口 3.5.1 从Hadoop URL读取数据 3.5.2 通过FileSystem API读取数据 3.5.3 写入数据 3.5.4 目录 3.5.5 查询文件系统 3.5.6 删除数据 3.6 数据流 3.6.1 剖析文件读取 3.6.2 剖析文件写入 3.6.3 一致模型 3.7 通过Flume和Sqoop导入数据 3.8 通过distcp并行复制 3.9 Hadoop存档 3.9.1 使用Hadoop存档工具 3.9.2 不足 第4章 Hadoop的I/O操作 4.1 数据完整性 4.1.1 HDFS的数据完整性 4.1.2 LocalFileSystem 4.1.3 ChecksumFileSystem 4.2 压缩 4.2.1 codec 4.2.2 压缩和输入分片 4.2.3 在MapReduce中使用压缩 4.3 序列化 4.3.1 Writable接口 4.3.2 Writable类 4.3.3 实现定制的Writable集合 4.3 序列化框架 4.4 Avro 4.4.1 Avro数据类型和模式 4.4.2 内存中的序列化和反序列化 4.4.3 Avro数据文件 4.4.4 互操作性 4.4.5 模式的解析 4.4.6 排列顺序 4.4.7 关于Avro MapReduce 4.4.8 使用Avro MapReduce进行排序 4.4.9 其他语言的Avro MapReduce 4.5 基于文件的数据结构 4.5.1 关于SequenceFile 4.5.2 关于MapFile 第5章 MapReduce应用开发 5.1 用于配置的API 5.1.1 资源合并 5.1.2 可变的扩展 5.2 配置开发环境 5.2.1 管理配置 5.2.2 辅助类GenericOptionsParser,Tool和ToolRunner 5.3 用MRUnit来写单元测试 5.3.1 关于Mapper 5.3.2 关于Reducer 5.4 本地运行测试数据 5.4.1 在本地作业运行器上运行作业 5.4.2 测试驱动程序 5.5 在集群上运行 5.5.1 打包作业 5.5.2 启动作业 5.5.3 MapReduce的Web界面 5.5.4 获取结果 5.5.5 作业调试 5.5.6 Hadoop日志 5.5.7 远程调试 5.6 作业调优 5.7 MapReduce的工作流 5.7.1 将问题分解成MapReduce作业 5.7.2 关于JobControl 5.7.3 关于Apache Oozie 第6章 MapReduce的工作机制 6.1 剖析MapReduce作业运行机制 6.1.1 经典的MapReduce (MapReduce 1) 6.1.2 YARN (MapReduce 2) 6.2 失败 6.2.1 经典MapReduce中的失败 6.2.2 YARN中的失败 6.3 作业的调度 6.3.1 公平调度器 6.3.2 容量调度器 6.4 shuffle和排序 6.4.1 map端 6.4.2 reduce端 6.4.3 配置调优 6.5 任务的执行 6.5.1 任务执行环境 6.5.2 推测执行 6.5.3 关于OutputCommitters 6.5.4 任务JVM重用 6.5.5 跳过坏记录 第7章 MapReduce的类型与格式 7.1 MapReduce的类型 7.1.1 默认的MapReduce作业 7.1.2 默认的Streaming作业 7.2 输入格式 7.2.1 输入分片与记录 7.2.2 文本输入 7.2.3 二进制输入 7.2.4 多个输入 7.2.5 数据库输入(和输出) 7.3 输出格式 7.3.1 文本输出 7.3.2 二进制输出 7.3.3 多个输出 7.3.4 延迟输出 7.3.5 数据库输出 第8章 MapReduce的特性 8.1 计数器 8.1.1 内置计数器 8.1.2 用户定义的Java计数器 8.1.3 用户定义的Streaming计数器 8.2 排序 8.2.1 准备 8.2.2 部分排序 8.2.3 全排序 8.2.4 辅助排序 8.3 连接 8.3.1 map端连接 8.3.2 reduce端连接 8.4 边数据分布 8.4.1 利用JobConf来配置作业 8.4.2 分布式缓存 8.5 MapReduce库类 第9章 构建Hadoop集群 9.1 集群规范 9.2 集群的构建和安装 9.2.1 安装Java 9.2.2 创建Hadoop用户 9.2.3 安装Hadoop 9.2.4 测试安装 9.3 SSH配置 9.4 Hadoop配置 9.4.1 配置管理 9.4.2 环境设置 9.4.3 Hadoop守护进程的关键属性 9.4.4 Hadoop守护进程的地址和端口 9.4.5 Hadoop的其他属性 9.4.6 创建用户帐号 9.5 YARN配置 9.5.1 YARN守护进程的重要属性 9.5.2 YARN守护进程的地址和端口 9.6 安全性 9.6.1 Kerberos和Hadoop 9.6.2 委托令牌 9.6.3 其他安全性改进 9.7 利用基准评测程序测试Hadoop集群 9.7.1 Hadoop基准评测程序 9.7.2 用户作业 9.8 云端的Hadoop 第10章 管理Hadoop 10.1 HDFS 10.1.1 永久性数据结构 10.1.2 安全模式 10.1.3 日志审计 10.1.4 工具 10.2 监控 10.2.1 日志 10.2.2 度量 10.2.3 Java管理扩展(JMX) 10.3 维护 10.3.1 日常管理过程 10.3.2 委任和解除节点 10.3.3 升级 第11章 关于Pig 11.1 安装与运行Pig 11.1.1 执行类型 11.1.2 运行Pig程序 11.1.3 Grunt 11.1.4 Pig Latin编辑器 11.2 示例 11.3 与数据库进行比较 11.4 Pig Latin 11.4.1 结构 11.4.2 语句 11.4.3 表达式 11.4.4 类型 11.4.5 模式 11.4.6 函数 11.4.7 宏 11.5 用户自定义函数 11.5.1 过滤UDF 11.5.2 计算UDF 11.5.3 加载UDF 11.6 数据处理操作 11.6.1 数据的加载和存储 11.6.2 数据的过滤 11.6.3 数据的分组与连接 11.6.4 数据的排序 11.6.5 数据的组合和切分 11.7 Pig实战 11.7.1 并行处理 11.7.2 参数代换 第12章 关于Hive 12.1 安装Hive 12.2 示例 12.3 运行Hive 12.3.1 配置Hive 12.3.2 Hive服务 12.3.3 Metastore 12.4 Hive与传统数据库相比 12.4.1 读时模式vs.写时模式 12.4.2 更新、事务和索引 12.5 HiveQL 12.5.1 数据类型 12.5.2 操作与函数 12.6 表 12.6.1 托管表和外部表 12.6.2 分区和桶 12.6.3 存储格式 12.6.4 导入数据 12.6.5 表的修改 12.6.6 表的丢弃 12.7 查询数据 12.7.1 排序和聚集 12.7.2 MapReduce脚本 12.7.3 连接 12.7.4 子查询 12.7.5 视图 12.8 用户定义函数 12.8.1 写UDF 12.8.2 写UDAF 第13章 关于HBase 13.1 HBase基础 13.2 概念 13.3.1 数据模型的"旋风之旅" 13.3.2 实现 13.3 安装 13.4 客户端 13.4.1 Java 13.4.2 Avro、REST和Thrift 13.5 示例 13.5.1 模式

    0
    0
    11.64MB
    2019-03-19
    5
  • 数学大词典_卷2(共两卷)

    数学辞海,数学大词典,数学字典,机器学习基础,程序员数学工具书。 文件较大,分两卷

    3
    1704
    195.23MB
    2019-03-19
    47
  • 数学大词典_卷1(共两卷)

    数学辞海,数学大词典,数学字典,程序员数学工具书。 文件较大,分两卷

    4
    1670
    350MB
    2019-03-19
    49
  • Hadoop与ETL技术在视频数据中的应用

    Hadoop与ETL技术在视频数据中的应用,Hadoop与ETL技术在视频数据中的应用

    0
    137
    561KB
    2019-03-19
    10
  • Hadoop- The Definitive Guide, 4th Edition

    Hadoop- The Definitive Guide, 4th Edition ——tom white

    0
    37
    11.64MB
    2019-03-19
    0
  • PostgreSQL数据库内核分析

    前 言 第1章 PostgreSQL系统概述/1 1.1 PostgreSQL简介及发展历程/1 1.2 PostgreSQL的特性/2 1.3 PostgreSQL的应用/3 1.4 PostgreSQL代码结构/3 1.5 安装PostgreSQL/4 1.6 PostgreSQL数据库命令/5 第2章 PostgreSQL的体系结构/7 2.1 系统表/8 2.1.1 主要系统表功能及依赖关系/8 2.1.2 系统视图/14 2.2 数据集簇/15 2.2.1 initdb的使用/17 2.2.2 postgres.bki/17 2.2.3 initdb的执行过程/19 2.2.4 系统数据库/20 2.3 PostgreSQL进程结构/21 2.4 守护进程Postmaster/22 2.4.1 初始化内存上下文/23 2.4.2 配置参数/23 2.4.3 创建监听套接字/28 2.4.4 注册信号处理函数/29 2.4.5 辅助进程启动/31 2.4.6 装载客户端认证文件/32 2.4.7 循环等待客户连接请求/33 2.5 辅助进程/34 2.5.1 SysLogger系统日志进程/34 2.5.2 BgWriter后台写进程/36 2.5.3 WalWriter预写式日志写进程/38 2.5.4 PgArch预写式日志归档进程/40 2.5.5 AutoVacuum系统自动清理进程/41 2.5.6 PgStat统计数据收集进程/44 2.6 服务进程Postgres/47 2.6.1 初始化内存环境/48 2.6.2 配置运行参数和处理客户端传递的GUC参数/48 2.6.3 设置信号处理和信号屏蔽/48 2.6.4 初始化Postgres的运行环境/49 2.6.5 创建内存上下文并设置查询取消跳跃点/50 2.6.6 循环等待处理查询/50 2.6.7 简单查询的执行流程/52 2.7 小结/53 第3章 存储管理/54 3.1 存储管理器的体系结构/54 3.2 外存管理/57 3.2.1 表和元组的组织方式/58 3.2.2 磁盘管理器/60 3.2.3 VFD机制/61 3.2.4 空闲空间映射表/64 3.2.5 可见性映射表/69 3.2.6 大数据存储/69 3.3 内存管理/76 3.3.1 内存上下文概述/77 3.3.2 高速缓存/84 3.3.3 缓冲池管理/94 3.3.4 IPC/102 3.4 表操作与元组操作/106 3.4.1 表操作/106 3.4.2 元组操作/112 3.5 VACUUM机制/115 3.5.1 VACUUM操作/115 3.5.2 Lazy VACUUM/116 3.5.3 Full VACUUM/118 3.6 ResourceOwner资源跟踪/120 3.7 小结/122 第4章 索引/123 4.1 概述/123 4.1.1 索引方式/124 4.1.2 索引类型/125 4.1.3 索引相关系统表/125 4.1.4 索引的操作函数/129 4.2 B-Tree索引/131 4.2.1 B-Tree索引的组织结构/132 4.2.2 B-Tree索引的操作/135 4.3 Hash索引/146 4.3.1 Hash索引的组织结构/147 4.3.2 Hash索引的实现/153 4.4 GiST索引/161 4.4.1 GiST的扩展性/161 4.4.2 GiST索引的组织结构/162 4.4.3 GiST索引的实现/163 4.4.4 GiST索引实例/166 4.5 GIN索引/168 4.5.1 GIN索引的扩展性/168 4.5.2 GIN索引的组织结构/170 4.5.3 GIN索引的操作/172 4.6 TSearch2全文搜索/179 4.6.1 全文索引的创建/180 4.6.2 全文索引的查询/184 4.6.3 查询结果处理/185 4.7 小结/186 第5章 查询编译/187 5.1 概述/187 5.2 查询分析/188 5.2.1 Lex和Yacc简介/189 5.2.2 词法和语法分析/193 5.2.3 语义分析/208 5.3 查询重写/218 5.3.1 规则系统/219 5.3.2 查询重写的处理操作/224 5.4 查询规划/228 5.4.1 总体处理流程/229 5.4.2 预处理/237 5.4.3 生成路径/240 5.4.4 生成可优化的MIN/MAX聚集计划/253 5.4.5 生成普通计划/254 5.4.6 生成完整计划/257 5.4.7 整理计划树/259 5.4.8 实例分析/260 5.5 代价估计/266 5.5.1 代价估算公式/267 5.5.2 选择度/268 5.5.3 单个表的扫描代价/268 5.5.4 两个表的连接代价/268 5.6 PostgreSQL中的遗传算法/268 5.6.1 个体编码方式及种群初始化/269 5.6.2 适应值/270 5.6.3 父体选择策略/270 5.6.4 杂交算子/270 5.6.5 变异算子/275 5.6.6 终止条件/275 5.6.7 基于排列生成路径/276 5.6.8 实例分析/276 5.7 小结/280 第6章 查询执行/282 6.1 查询执行策略/283 6.1.1 可优化语句和数据定义语句/284 6.1.2 四种执行策略/284 6.1.3 策略选择的实现/286 6.1.4 Portal执行的过程/288 6.2 数据定义语句执行/289 6.2.1 数据定义语句执行流程/289 6.2.2 执行实例/290 6.2.3 主要的功能处理器函数/293 6.3 可优化语句执行/293 6.3.1 物理代数与处理模型/294 6.3.2 物理操作符的数据结构/295 6.3.3 执行器的运行/297 6.3.4 执行实例/301 6.4 计划节点/303 6.4.1 控制节点/304 6.4.2 扫描节点/310 6.4.3 物化节点/319 6.4.4 连接节点/328 6.5 其他子功能介绍/334 6.5.1 元组操作/334 6.5.2 表达式计算/337 6.5.3 投影操作/340 6.6 小结/342 第7章 事务处理与并发控制/343 7.1 事务系统简介/343 7.2 事务系统的上层/344 7.2.1 事务块状态/345 7.2.2 事务块操作/346 7.3 事务系统的底层/348 7.3.1 事务状态/348 7.3.2 事务操作函数/350 7.3.3 简单查询事务执行过程实例/352 7.4 事务保存点和子事务/353 7.4.1 保存点实现原理/353 7.4.2 子事务/353 7.5 两阶段提交/354 7.5.1 预提交阶段/354 7.5.2 全局提交阶段/355 7.6 PostgreSQL的并发控制/355 7.7 PostgreSQL中的三种锁/357 7.7.1 SpinLock/357 7.7.2 LWLock/358 7.7.3 RegularLock/360 7.8 锁管理机制/368 7.8.1 表粒度的锁操作/368 7.8.2 页粒度的锁操作/369 7.8.3 元组粒度的锁操作/369 7.8.4 事务粒度的锁操作/369 7.8.5 一般对象的锁操作/369 7.9 死锁处理机制/370 7.9.1 死锁处理相关数据结构/371 7.9.2 死锁处理相关操作/372 7.10 多版本并发控制/373 7.10.1 MVCC相关数据结构/373 7.10.2 MVCC相关操作/375 7.10.3 MVCC与快照/379 7.11 日志管理/380 7.11.1 SLRU缓冲池/381 7.11.2 CLOG日志管理器/386 7.11.3 SUBTRANS日志管理器/390 7.11.4 MULTIXACT日志管理器/392 7.11.5 XLOG日志管理器/394 7.11.6 日志管理器总结/402 7.12 小结/403 第8章 数据库安全/404 8.1 PostgreSQL安全简介/404 8.2 用户标识和认证/405 8.2.1 客户端配置文件/406 8.2.2 认证方法/408 8.2.3 客户端认证/410 8.3 基于角色的权限管理/413 8.3.1 用户和角色/413 8.3.2 角色相关的系统表/415 8.3.3 角色管理/416 8.4 对象访问控制/426 8.4.1 访问控制列表/426 8.4.2 对象权限管理/428 8.4.3 对象权限检查/432 8.5 小结/433

    0
    0
    43.62MB
    2019-03-19
    7
  • 搜索引擎性能评价

    搜索引擎体系结构设计理念与性能评价,体系理念,性能评价方案

    0
    237
    8.72MB
    2019-03-18
    19
  • 分享宗师

    成功上传21个资源即可获取
关注 私信
上传资源赚积分or赚钱