MindSpore数据框架主要技术架构及关键特性 - 华为陈雷.pdf


-
华为全联接大会2019,部分资源PPT文件,大概有几十个,需要的可以自行下载
MindSpore数据框架,直面A数据问题与挑战,构建端到端A数据处理与可视化能力 MindSpore端边云独立的和协同的统—训练和推理框架 高效训练数据准备与处理 计算框架 数据框架 提供端到端A数据处理,有效降低数据准备成本,缩短模型训练周期 Al数据可视 人机协同的半自动标诖框架:快速搭建数据标注系统,加速训练 数据准备 Mind 模型精度调优模型性能调优 ;◎统一高效的自研数据棓式:自摧述可检索的A数据格式,让训练; Expression 数据处理更高效 自定义可视化插件框架 ◎数据精炼:训练时间缩短10%,精度不下降 AI数据处理 GrapH 加速模型精度和性能调优 半自动化标注数据精炼训练数据高效处理 Engine 训练过程可视、软硬件全栈信息可视能力,显著提升模型调优效率和 高效A数据格式 开发者体验。 ◎模型精度调优:错例可视化解释、模型溯源与比对 端-边-云协同分布式可信架构 ◎模型性能调优:数据集可视、鞍点可视、学习率曲线 [M] HUAWEI 1训练数据准备成本高的主要原因:数据标注成本高 自动驾驶场景2D车辆/行人检测模型为例 百万级训练数据 人工标注需要数百人天 [M] HUAWEI 人机协同的半自动标注,显著提高标注效率,加速训练数据准备 数据标注准确率 数据标注效率 人工标主中中中中中中中中中中 99 半自动标注T叶甲? 数据半自动标注,典型场景下实现标注准确率99+%,标注效率提升4倍 [M] HUAWEI 2解决训练数据读取性能和多样性不足问题,需要高效数据处理能力 模型调优时,现有开源框架不支持组合检索,获取特定训练数据困难。 (如:自动驾驶场景,需要补充雪天有交通灯的图片 AY LHTI'EE [M] HUAWEI 自描述、可检索的A数据格式,让训练数据处理更高效 训练数据集的问题与挑战 关键特性 1.无统计,数据集理解难 2.无索引,数据查询分析慢 3.海量小文件,读取性能差 提供数据统计 支持数据集可视化,数据分布和统计直观可见,分析快 解决方案数据格式 提供索引信息 Statistics 支持高效检索,快速获取和分析指定类型或组合条件数据 Index 自描述 可检索 原始数据+标注信息 数据聚合 提供数据聚合 支持高效训练数据读取 ·以 ImageNet数据集为例,基于A数据格式,训练数据 Schema 访问性能显著提升 元数据定义 [M] L HUAWEI 3训练数据量大,包含大量低价值数据,严重影响训练效率 迭代训练 网络模型1 模型训练 训练数据D 可了 迭代训练 DE A 网络模型2 模型训练 模型择优 XXⅩ 训练数据D 模型 迭代训练 网络模型n 模型训练 训练数据D noer 同一训练数据多种网络模型构建不同模型,好中选优 训练数据量越来越大,训练时间越来越长,有时需尝试多种网络模型,导致训练时间成倍增长。 如何剔除对训练精度影响很小的低价值数据,加速模型训练成为挑战。 [M] L HUAWEI 峋数据精炼,精准识别并剔除低价值数据,让训练更快速 模型训练 训练数据集 静态数据精炼 output layer input layer hidden layer 1 hidden layer 2 精简后训练数据集 动态数据精炼 高影响 低影响 数据 数据 中等影响 数据 模型精度不下降,训练时间减少超过10%( ResNet/bert [M] L HUAWEI 4为什么需要数据集可视?“亡羊补牢”成本高,严重影响训练性能 以前:事后补救,“亡羊补牢” 目标:提前优化,“未雨绸缪 模型结果差 数据集可视 训练时间 手工编写脚本分析 130+% 训练数据集问题 训练数据集问题 调整数据分布或 补充某些类型数据 调整数据分布或 补充某些类型数据 模型结果满足要求 模型结果满足要求 [M] HUAWEI

1.28MB
MindSpore 核心技术架构及特性-华为袁鹏.pdf
2019-09-25华为全联接大会2019,部分资源PPT文件,大概有几十个,需要的可以自行下载
15KB
华为深度学习框架MindSpore正式开源:自动微分不止计算图.md
2020-04-02今年的华为开发者大会 HDC 2020 上,除了**昇腾、鲲鹏等自研芯片硬件平台**之外,最令人期待的就是**深度学习框架 MindSpore 的开源**了。今天上午,华为 MindSpore **首
- Mindspore 的简单使用实践 - Educoder实训答案 9192020-08-18先说意义,Mindspore属于比较易于上手的一个深度学习开源框架,相较其他框架会简单一些,而且其在一些算法的加速效果上也是有着不可忽视的提升。实践学习这个框架能更好地去理解掌握其他框架,而且正好能有比较入门的实践题,对于之后深入加入深度学习也会有一定帮助。而且对于Mindspore,目前来说是一代目,后面的更多人的加入肯定能发展更好的。 任务1: MindSpore的安装和基本概念 根据提示,在右侧编辑器Begin和End之间补充代码,在代码中定义一个三阶的张量, 类型是mindspore.int32
11.40MB
轻量级深度学习推理框架.
2018-07-31轻量级深度学习推理框架. 轻量级深度学习推理框架. 轻量级深度学习推理框架.
C/C++程序员实战基础
2019-08-2049.98MB
JDK1.8 API 百度翻译版中文 java帮助文档1.8
2016-11-02JDK1.8 API 中文 百度翻译版 java帮助文档 JDK API java 帮助文档 百度翻译 JDK1.8 API 中文 百度翻译版 java帮助文档 Java最新帮助文档 本帮助文档是使用
程序员的数学:概率统计
2019-09-19编程的基础是计算机科学,而计算机科学的基础是数学。因此,学习数学有助于巩固编程的基础,写出更健壮的程序。本门课程主要讲解程序员必备的数学知识,借以培养程序员的数学思维。学习者无需精通编程,也无需精通数学。从概率统计、线性代数、微积分、优化理论、随机过程到当前大热的机器学习,讲师幽默风趣,课件精致美观,深入浅出带你重学数学!
Python基础入门
2020-06-05【为什么学Python?】 Python 是当今非常热门的语言之一,2020年的 TIOBE 编程语言排行榜中 ,Python名列第一,并且其流行度依然处在上升势头。 借此机会,裴老师联合CSDN推出了本课程,希望能影响更多的人走进Python,踏入编程的大门。 【你将收获什么?】 · 本课程就是为开发者抓住“新基建”这个历史机遇而设置的。认真地学完了本课程,你就有了一把钥匙,所谓“时势造英雄”,Python语言就是未来成长的垫脚石。 · 从核心基础概念到常见第三方模块,包括数据结构、逻辑运算、常见语句、函数、类及第三方模块,丰富的案例帮助学员快速入门Python。 · “授人以鱼”和“授人以渔”并重是本课程的特色。通过在本课程的学习,学员能够以Python语言为载体,掌握研习高级编程语言的一般方法,为后续个人发展奠定基础。 [知识脉络图]
24.46MB
图书管理系统(Java + Mysql)我的第一个完全自己做的实训项目
2019-01-04图书管理系统 Java + MySQL 完整实训代码,MVC三层架构组织,包含所有用到的图片资源以及数据库文件,大三上学期实训,注释很详细,按照阿里巴巴Java编程规范编写
301KB
【京东飞天茅台1499抢购】报错:抢购失败,无法获取生成订单的基本信息,接口返回:【‘addressList’】的解决方案,2021/1/13亲测可用!
2021-01-13【京东飞天茅台1499抢购】 在抢的过程中,抢购链接获取成功,但是在提交订单的时候,获取地址列表失败了。 抢购时报错:抢购失败,无法获取生成订单的基本信息,接口返回:【'addressList'】 此
9.29MB
1970-2020 海洋温度数据.rar
2020-02-152020年美赛A题数据,excel版方便使用,包括1970-2020北大西洋海面每日数据,官方来源。
手把手带你学Python
2020-03-03当下最火的计算机语言,难道你还只停留知道的阶段吗?快跟着老司机一起起飞吧~ 零基础开始学,只要跟着视频一步一步来,多思考,多练习,我相信你会有质的飞越。 学习路上会很苦,也会很累。但是这些等你学会以后,会发现这些都是值得。 还在等什么?快来学习吧~
企业员工角色权限管理平台(SpringBoot2.0+Mybatis+Shiro+Vue)
2019-08-07课程简介: 历经半个多月的时间,Debug亲自撸的 “企业员工角色权限管理平台” 终于完成了。正如字面意思,本课程讲解的是一个真正意义上的、企业级的项目实战,主要介绍了企业级应用系统中后端应用权限的管理,其中主要涵盖了六大核心业务模块、十几张数据库表。 其中的核心业务模块主要包括用户模块、部门模块、岗位模块、角色模块、菜单模块和系统日志模块;与此同时,Debug还亲自撸了额外的附属模块,包括字典管理模块、商品分类模块以及考勤管理模块等等,主要是为了更好地巩固相应的技术栈以及企业应用系统业务模块的开发流程! 核心技术栈列表: 值得介绍的是,本课程在技术栈层面涵盖了前端和后端的大部分常用技术,包括Spring Boot、Spring MVC、Mybatis、Mybatis-Plus、Shiro(身份认证与资源授权跟会话等等)、Spring AOP、防止XSS攻击、防止SQL注入攻击、过滤器Filter、验证码Kaptcha、热部署插件Devtools、POI、Vue、LayUI、ElementUI、JQuery、HTML、Bootstrap、Freemarker、一键打包部署运行工具Wagon等等,如下图所示: 课程内容与收益: 总的来说,本课程是一门具有很强实践性质的“项目实战”课程,即“企业应用员工角色权限管理平台”,主要介绍了当前企业级应用系统中员工、部门、岗位、角色、权限、菜单以及其他实体模块的管理;其中,还重点讲解了如何基于Shiro的资源授权实现员工-角色-操作权限、员工-角色-数据权限的管理;在课程的最后,还介绍了如何实现一键打包上传部署运行项目等等。如下图所示为本权限管理平台的数据库设计图: 以下为项目整体的运行效果截图: 值得一提的是,在本课程中,Debug也向各位小伙伴介绍了如何在企业级应用系统业务模块的开发中,前端到后端再到数据库,最后再到服务器的上线部署运行等流程,如下图所示:
2020华为HCIA/HCNA/数通/路由交换/实验/视频/教程/持续更新赠题库
2020-05-25本课程不仅可以帮助大家顺利考取华为HCIA证书,同时技术视频均为理论+实战配套讲解,讲解细致,通俗易懂,资料完整,可以让大家学到实实在在企业用到的网络技术,本课程包含完整的学习资料,视频+PPT课件,能够帮助你快速掌握HCIA数通网络技术,同时视频中3-4视频后面的附件课件包含了HCIA数通考试题库(带答案),适合从零基础学网络考HCIA的同学!
微信小程序样式开发入门
2019-01-07讲解微信小程序中样式的入门使用,如何使用传统的css知识点来开发wxss的样式;本节课主要讲解在微信小程序中创建样式的几种 写法,元素选择器的基础使用,id选择器和id派生选择器的使用,class类选择器的使用。
-
博客
6.时间对象 定时器 样式/内容设置
6.时间对象 定时器 样式/内容设置
-
博客
7.BOM
7.BOM
-
学院
第1章 Java入门基础及环境搭建【java编程进阶】
第1章 Java入门基础及环境搭建【java编程进阶】
-
学院
量化高频交易系统tick数据采集
量化高频交易系统tick数据采集
-
博客
多体格林函数总结
多体格林函数总结
-
学院
计算机网络基础
计算机网络基础
-
博客
keil-STM32中如何查看代码大小,和KEIL51稍微不同
keil-STM32中如何查看代码大小,和KEIL51稍微不同
-
学院
微信小程序之颜值测试项目(测颜值)【项目实战】
微信小程序之颜值测试项目(测颜值)【项目实战】
-
学院
Appium自动化测试套餐
Appium自动化测试套餐
-
博客
Centos安装PHP7及配置php-fpm开机启动
Centos安装PHP7及配置php-fpm开机启动
-
博客
php搭建个人博客
php搭建个人博客
-
学院
算法导论(基础知识)——编程大牛的必经之路
算法导论(基础知识)——编程大牛的必经之路
-
下载
高应变InxGa1-xAs薄膜的结晶质量及光学特性
高应变InxGa1-xAs薄膜的结晶质量及光学特性
-
学院
Python入门课,人工智能时代比java还有用的语言
Python入门课,人工智能时代比java还有用的语言
-
博客
费米面嵌套(Fermi_Surface nesting)
费米面嵌套(Fermi_Surface nesting)
-
学院
python数据分析基础
python数据分析基础
-
下载
SMT回流焊的温度曲线.pdf
SMT回流焊的温度曲线.pdf
-
学院
软件测试基础
软件测试基础
-
学院
【2021】Python3+Selenium3自动化测试(不含框架)
【2021】Python3+Selenium3自动化测试(不含框架)
-
下载
STM32CubeMX Nucleo F767ZI 教程(3) 串口调试工具 Letter Shell App.zip
STM32CubeMX Nucleo F767ZI 教程(3) 串口调试工具 Letter Shell App.zip
-
下载
加速分割特征优化的图像配准方法
加速分割特征优化的图像配准方法
-
博客
char和varchar的区别是什么?(小知识)
char和varchar的区别是什么?(小知识)
-
博客
jquery使用serialize()出现中文乱码怎么办
jquery使用serialize()出现中文乱码怎么办
-
博客
再看LeetCode92
再看LeetCode92
-
博客
Database Management Systems(数据库系统原理总结)- 第二章
Database Management Systems(数据库系统原理总结)- 第二章
-
学院
Excel高级图表技巧
Excel高级图表技巧
-
博客
科研情况分析1-27
科研情况分析1-27
-
下载
相对平行直线扫描计算机分层成像研究
相对平行直线扫描计算机分层成像研究
-
下载
基于Excel平台的会计信息系统设计与实现
基于Excel平台的会计信息系统设计与实现
-
下载
一种通用机载总线接口控制文档设计方法
一种通用机载总线接口控制文档设计方法