大数据与人工智能 大数据与人工智能全文共42页，当前为第1页。 提纲 什么是大数据 大数据系统 从数据获取价值 大数据驱动智能 大数据与人工智能全文共42页，当前为第2页。 什么是大数据 大数据与人工智能全文共42页，当前为第3页。 什么是大数据 老生常谈的4个V 第五个V: Value 10秒的iPhone视频 1980x1080x25x10 =518,400,000像素 是大数据吗？ 一个Excel表，10,000行 用户A，用户B，转账金额 是大数据吗？ 大数据与人工智能全文共42页，当前为第4页。 大数据的价值来源：全 数据维度 时间、空间维度 跨界 举个例子 个人健康数据 McKinsey, Big data: The next frontier for innovation, competition, and productivity, 2011 大数据与人工智能全文共42页，当前为第5页。 大数据的价值体现：小 数据 知识 决策（1bit） 精确（概率） 举个例子 极致的个性化推荐 大数据与人工智能全文共42页，当前为第6页。 大数据的价值潜力：智能 语言 视觉 预测 举个例子 语音识别 样本量：3千小时 10万小时 识别率：80% 90% 图片识别 样本量：几万 十亿 识别率：70% 95% 大数据与人工智能全文共42页，当前为第7页。 （大）数据从哪里来 传感器 制造业、公共事业 手机、PC、手环 摄像头 带宽 40 kbps (2G) 15GB/年 20 Mbps (4G) 计算 Moore's Law 存储 TB级SSD 大数据与人工智能全文共42页，当前为第8页。 大数据系统 大数据与人工智能全文共42页，当前为第9页。 如何处理海量数据 一个关于屏保的的真实的故事… 2003年的知春路… MPI 大数据与人工智能全文共42页，当前为第10页。 分布式系统的前世今生 应用驱动 数据 硬件驱动 突破约束 人的驱动 聪明人 懒人 高效、容错、易用 1980s，个人电脑普及 分布式系统采用Client-Server架构 分布式SQL数据库(1979) 网络文件系统(1984) 1990s，数据中心提供商业化系统部署解决方案 P2P分布式架构 网格计算 2000s，社交网络的盛行，海量数据和日志 分布式编程模型MapReduce(2004年) 分布式系统，如Hadoop (2006), Spark (2012) , Hive (2013) NoSQL数据库流行，如Cassandra (2008) 2010s，随大数据和人工智能的发展 分布式机器学习系统广泛应用 分布式图数据库被用于大数据知识图谱的处理和分析 大数据与人工智能全文共42页，当前为第11页。 大数据系统是一个"操作系统" 数据存储 2个CPU 1-4块硬盘 数据分析 统计 数据存储 100+ CPU 800+ 硬盘 数据分析 统计 大数据与人工智能全文共42页，当前为第12页。 资源管理 计算、存储、IO 大数据与人工智能全文共42页，当前为第13页。 文件管理 相同的操作逻辑 大数据与人工智能全文共42页，当前为第14页。 从文件系统到对象存储 海量非结构化数据 文本、语音、图片 （分布式）文件系统 目录结构 支持大文件 元数据服务器成为瓶颈 对象存储 去中心化 Key-Value 架构 支持小文件 分布式元数据存储 大数据与人工智能全文共42页，当前为第15页。 数据分析 SQL语法相同 具有同样的可视化 及分析能力 大数据与人工智能全文共42页，当前为第16页。 大数据怎么玩 从数据获取价值 大数据与人工智能全文共42页，当前为第17页。 大数据的价值获取 Human analytics Machine analytics 大数据与人工智能全文共42页，当前为第18页。 数据ETL和清洗 HDFS 大数据与人工智能全文共42页，当前为第19页。 大数据洞察：群体和个体 大数据与人工智能全文共42页，当前为第20页。 大数据洞察：生态和信息传播 设备画像 用户画像 应用画像 核心算法 文本挖掘 机器学习 知识图谱 大数据与人工智能全文共42页，当前为第21页。 交互式数据洞察 超越传统BI报表的形式 动态、变化的需求 数据组织形态 实时响应 大数据与人工智能全文共42页，当前为第22页。 从文本提取结构化知识 "北京时间8月15日凌晨，2016年里约奥运会跳水女子单人三米板比赛中出现了浪漫的一幕。获得亚军的中国美女何姿在颁奖仪式后收到了男友秦凯的求婚。今天的比赛中，施廷懋以总分406.05分获得冠军，在帮助中国队实现该项目八连冠的同时，何姿以387.90分遗憾获得银牌"。 何姿 秦凯 男友 获得 亚军/银牌 求婚 大数据与人工智能全文共42页，
