大数据安全标准化白皮书（2017）

大数据时代是机遇与挑战并存的时代。在大数据应用推广过程中，必须坚持安全与发展并重的方针，为大数据发展构建安全保障体系，在充分发挥大数据价值的同事，解决面临的数据安全和个人信息保护问题。大数据安全标准是大数据安全保障体系的重要组成部分，对其实施起到引导和指导性作用。为此，亟待从技术和产业发展角度加快推进大数据安全标准化工作，为我国大数据产业的健康发展提供有效支撑。

大数据安全标准化白皮书（2018）

大数据已经上升为国家战略，数据被视为国家基础性战略资源，各行各业的大数据应用风起云涌，大数据在国民经济发展中发挥的作用越来越大。伴随着大数据的广泛应用，大数据安全问题也日益凸显，大数据安全标准作为大数据安全保障的重要抓手越来越被重视。随着大数据安全标准化工作的开展，由于缺乏顶层设计和统筹规划，大数据安全标准之间的交叉重复开始出现。为了更好的引导未来大数据安全标准化工作有序开展，全国信息安全标准化技术委员会大数据安全标准特别工作组集众多成员单位之合力，联合大数据系统软件国家工程实验室、大数据流通与交易技术国家工程实验室、大数据协同安全技术国家工程实验室、医疗大数据应用技术国家工程实验室，梳理了大数据应用中面临的安全风险和挑战，研究了国内外大数据安全相关的法律法规，分析了大数据安全标准化需求和目前已有的相关标准，建立了大数据安全标准体系，并给出了大数据安全标准化工作建议，最终形成本版白皮书。

数据应用工程成熟度模型

在现代社会，随着企业的发展产生了大量的数据，生产部门有生产制造的数据记录，业务 运营部门有营销数据，财务部门有经营数据，数据无处不在，数据又时时刻刻影响着企业 运转中每个环节的决策。数据已经成为除了资金和人才以外企业新的资产价值增长点。 数据本身并不代表价值，数据仅仅是以一定格式对事实进行记录，是原始材料;只有结合 环境和上下文的数据才有意义，这就是信息;伴随着信息的积累，我们从趋势和关系的挖 掘中总结出了规律，这些规律就变成了知识;然后依据知识在企业经营中进行决策和行动， 能进一步促进企业的良性循环。 数据产生价值的过程需要经历获取、存储、评估、整理、增强、分析、应用等多个环节， 在小数据时代这些过程都相对简单和成熟。随着近些年数据收集方式的增多、传感设备数 量的增加，计算能力的增强和存储方式的改进，导致了人们可感知的数据量急剧增多;按 照摩尔定律，数据生成和存储的生长速度一直在呈现指数增长。大数据应运而生，带来了 俗称的大数据 4V 特征:数量多(即数据集的规模)、多样性(即来自多种数据仓库、领域 或类型的数据)、速度快(数据的流速)、多变性(在不同特征里的变化)。大数据的到来， 使得在数据系统的演化进程中，人们对于高经济效益以及高效率的数据分析需求迫使现有 技术不断变化。 伴随着大数据革命，必须考虑如下四个方面的相互作用:数据集的特征、对数据集的分析、 数据处理系统的性能以及对经济效益的商业考虑。这些决定了数据应用的价值效果。通过 不断的实践，我们总结出了当前大数据环境下的数据应用工程 - 成熟度(LPDT)模型。

High Performance in-memory computing with Apache Ignite.pdf

This book covers a verity of topics, including in-memory data grid, highly available service grid, streaming (event processing for IoT and fast data) and in-memory computing use cases from high-performance computing to get performance gains. The book will be particularly useful for those, who have the following use cases: You have a high volume of ACID transactions in your system. You have database bottleneck in your application and want to solve the problem. You want to develop and deploy Microservices in a distributed fashion. You have an existing Hadoop ecosystem (OLAP) and want to improve the performance of map/reduce jobs without making any changes in your existing map/reduce jobs.. You want to share Spark RDD directly in-memory (without storing the state into the disk), which can dramatically increase the performance of the Spark jobs. You are planning to migrate to microservices and the web session clustering is the problem for you. You are planning to process continuous never-ending streams and complex events of data in a scalable and fault-tolerant fashion. You want to use distributed computations in parallel fashion to gain high performance, low latency, and linear scalability. You want to accelerate applications performance without changing code. What you will learn: In-memory data fabrics use-cases and how it can help you to develop near real-time applications. In-memory data fabrics detail architecture. Caching strategies and how to use In-memory caching to improve the performance of the applications. SQL grid for in-memory caches. How to accelerates the performance of your existing Hadoop ecosystem without changing any code. Sharing Spark RDD states between different Spark applications for improving performance. Processing events & streaming data, integrate Apache Ignite with other frameworks like Storm, Camel, etc. Using distributed computing for building low-latency software. Developing distributed Microservices in fault-tolerant fashion. For every topic, a complete application is delivered, which will help the audience to quick start with the topic. The book is a project-based guide, where each chapter focuses on the complete implementation of a real-world scenario, the commonly occurring challenges in each scenario has also discussed, along with tips and tricks and best practices on how to overcome them. Every chapter is independent and a complete project.

HDP安装升级方案-初版

通过Ambari安装HDP，以及对应的滚动升级HDP方案和手动升级HDP方案；手动安装HDP，以及对应的升级HDP方案；其中包含了安装失败处、升级回退的机制和处理方案。主要包括下面几个部分：基础环境的安装与配置，安装方案，升级档案，Patch方案，回退方案，以及常见问题的解决等。