MindSpore数据框架主要技术架构及关键特性 - 华为陈雷.pdf

所需积分/C币:50 2019-09-25 18:01:56 1.34MB PDF
3
收藏 收藏
举报

华为全联接大会2019,部分资源PPT文件,大概有几十个,需要的可以自行下载
MindSpore数据框架,直面A数据问题与挑战,构建端到端A数据处理与可视化能力 MindSpore端边云独立的和协同的统—训练和推理框架 高效训练数据准备与处理 计算框架 数据框架 提供端到端A数据处理,有效降低数据准备成本,缩短模型训练周期 Al数据可视 人机协同的半自动标诖框架:快速搭建数据标注系统,加速训练 数据准备 Mind 模型精度调优模型性能调优 ;◎统一高效的自研数据棓式:自摧述可检索的A数据格式,让训练; Expression 数据处理更高效 自定义可视化插件框架 ◎数据精炼:训练时间缩短10%,精度不下降 AI数据处理 GrapH 加速模型精度和性能调优 半自动化标注数据精炼训练数据高效处理 Engine 训练过程可视、软硬件全栈信息可视能力,显著提升模型调优效率和 高效A数据格式 开发者体验。 ◎模型精度调优:错例可视化解释、模型溯源与比对 端-边-云协同分布式可信架构 ◎模型性能调优:数据集可视、鞍点可视、学习率曲线 [M] HUAWEI 1训练数据准备成本高的主要原因:数据标注成本高 自动驾驶场景2D车辆/行人检测模型为例 百万级训练数据 人工标注需要数百人天 [M] HUAWEI 人机协同的半自动标注,显著提高标注效率,加速训练数据准备 数据标注准确率 数据标注效率 人工标主中中中中中中中中中中 99 半自动标注T叶甲? 数据半自动标注,典型场景下实现标注准确率99+%,标注效率提升4倍 [M] HUAWEI 2解决训练数据读取性能和多样性不足问题,需要高效数据处理能力 模型调优时,现有开源框架不支持组合检索,获取特定训练数据困难。 (如:自动驾驶场景,需要补充雪天有交通灯的图片 AY LHTI'EE [M] HUAWEI 自描述、可检索的A数据格式,让训练数据处理更高效 训练数据集的问题与挑战 关键特性 1.无统计,数据集理解难 2.无索引,数据查询分析慢 3.海量小文件,读取性能差 提供数据统计 支持数据集可视化,数据分布和统计直观可见,分析快 解决方案数据格式 提供索引信息 Statistics 支持高效检索,快速获取和分析指定类型或组合条件数据 Index 自描述 可检索 原始数据+标注信息 数据聚合 提供数据聚合 支持高效训练数据读取 ·以 ImageNet数据集为例,基于A数据格式,训练数据 Schema 访问性能显著提升 元数据定义 [M] L HUAWEI 3训练数据量大,包含大量低价值数据,严重影响训练效率 迭代训练 网络模型1 模型训练 训练数据D 可了 迭代训练 DE A 网络模型2 模型训练 模型择优 XXⅩ 训练数据D 模型 迭代训练 网络模型n 模型训练 训练数据D noer 同一训练数据多种网络模型构建不同模型,好中选优 训练数据量越来越大,训练时间越来越长,有时需尝试多种网络模型,导致训练时间成倍增长。 如何剔除对训练精度影响很小的低价值数据,加速模型训练成为挑战。 [M] L HUAWEI 峋数据精炼,精准识别并剔除低价值数据,让训练更快速 模型训练 训练数据集 静态数据精炼 output layer input layer hidden layer 1 hidden layer 2 精简后训练数据集 动态数据精炼 高影响 低影响 数据 数据 中等影响 数据 模型精度不下降,训练时间减少超过10%( ResNet/bert [M] L HUAWEI 4为什么需要数据集可视?“亡羊补牢”成本高,严重影响训练性能 以前:事后补救,“亡羊补牢” 目标:提前优化,“未雨绸缪 模型结果差 数据集可视 训练时间 手工编写脚本分析 130+% 训练数据集问题 训练数据集问题 调整数据分布或 补充某些类型数据 调整数据分布或 补充某些类型数据 模型结果满足要求 模型结果满足要求 [M] HUAWEI

...展开详情
试读 16P MindSpore数据框架主要技术架构及关键特性 - 华为陈雷.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
  • GitHub

    绑定GitHub第三方账户获取
  • 脉脉勋章

    绑定脉脉第三方账户获得
  • 签到新秀

    累计签到获取,不积跬步,无以至千里,继续坚持!
关注 私信 TA的资源
上传资源赚积分or赚钱
    最新推荐
    MindSpore数据框架主要技术架构及关键特性 - 华为陈雷.pdf 50积分/C币 立即下载
    1/16
    MindSpore数据框架主要技术架构及关键特性 - 华为陈雷.pdf第1页
    MindSpore数据框架主要技术架构及关键特性 - 华为陈雷.pdf第2页
    MindSpore数据框架主要技术架构及关键特性 - 华为陈雷.pdf第3页
    MindSpore数据框架主要技术架构及关键特性 - 华为陈雷.pdf第4页

    试读结束, 可继续读1页

    50积分/C币 立即下载 >