2019年工业大数据分析指南学习总结.pdf

所需积分/C币:50 2019-11-12 10:20:23 1.87MB PDF
65
收藏 收藏
举报

2019年工业大数据分析 个人学习总结 分享参考 工业大数据是智能制造的核心,其基础是大数据和工业互联网,所需要的技术有云计算、大数据、物联网、人工智能,工业大数据核心技术是工业大数据分析技术。
目录 工业大数据分析学习总结....…..….….………1 工业大数据分析流程 1工业大数据分析… :::.::::::..::::::.:::::::a 4 2工业大数据分析框架 工业大数据分析的指导思想. 3业务理解. 理解数据分析的需求. 10 数据分析的价值需求 10 数据分析需求的梳理方法 跨生命周期数据的管理和分析 .11 4数据理解…… ,…11 数据分类 .11 数据关系 2 5数据准备… 13 6数据建模. 13 工业建模…. 14 算 7模型的验证与评估… 8模型部署. ∴16 模型部署前应考虑的问题 16 实施和运行中的问题 钢铁工艺流程. 1主要工艺流程. 18 2钢铁加工设备和检测详解: d着着着着;着看 19 1工业大数据分析 定义 技术于段、业努知识、有价值的信息和规律 实际操作 用户需求、数据状况、业务价值、分析技术 工业大数据分析 目的 业务活动所需各种知识 分析婁求 植理罗辑定义问题 定义:利用统计学分析技术、机器学习技术、信号处理技术等技术手段,结合业 务知识对工业过程中产生的数据进行处理、计算、分析并提取其中有价值的信息、 规律的过程。 实际操作:要以明确用户需求为前提、以数据现状为基础、以业务价值为标尺、 以分析技术为于段,针对特定的业务问题,制定个性化的数据分析解决方案。 目的:获得业务活动所需各种的知识,促使企业转型升级。 分析要求:用数理逻辑去严格的定义业务问题。(将业务转化为数理知识 数据统计科学 机器学习 工业数工业统计 分析 分析 计算科学 工业自动化 工业工程科学 大数据平台技术:解决数据存储量大、采集速度频率快、结构复杂等瓶颈问题; 大数据应用技术:随着数据存储量的增大和处理能力的增强,催生了新的应用和 业务;(目前所做的项目属于此类) 工业大数据分析过程: 本身:发现和完吾知识 企业:创造价值 计划:罗列可能的方案 巩领咄识和数据知识的融合 工业大数据分析过程 算法1 模型1 算 途径1 惯型 知识发现择索途径 业务需求 途径2 途径 工业大数据分析类型(目标不同,条件不同、数据分析要求和难度也不同) “发生了什么”、体现的“是什么”知识 A描述型 工业企业总的周报、月.商务智能(R)分析 便于人们理解 C为)什么会发生这样的情 3诊断型 关腱是剧除非本后的随机关联和各种假象 工业大数据分析关型 有明确的目标和对错 将要发生什么? 顸测型 不仅有明确的目标和对错,还要区分因果和相关 怎么少 ]处方型 进一步与实施手段和流程的创新相结合」 不同项目,不同阶段,不同要求,需要不同的分析,分析的难度和深度也不 同 工业大数据分析价值: 价值寻找遵循这样一个原则:一个体系的价值,决定于包含这 个体系的更大体系。比如说,对于设备这个对象,我们可以从设备生命周期 角度去思考,包括安装一使用一保养一维修一报废,分析如何使设备更加优化和 高效等。 (说尺 维修、维护、故障预防 车间尺度 大法费:等特、涨远、不良品、动作、加工、库、制造过早 分析价值 企业尺度 研发设计、生产组织、釆购销售、售后服务 跨越企业 供应楼、企业生卷、区域经济、社会尺厦」 业务创新 想做仁么 确认;为什么要做 业务分析层面 打算怎么做 要知道什么 数据分析层面 如何知道(分析) 数据条件 能知道什么 想做什么:业务需求 为什么这么做:价值存在性 打算怎么做:技术线路、业务路径 需要知道什么:信息和知识,数据分析的目标 怎么才能知道:数据分析过程 业务创新和优化(做什么、怎么做) 对于具体的问题,数据分析不仅要关注如何得到小日标,还要结合业务需求, 将大目标分解成子目标,也就是确定“需要知道么”,子目标的实现是战术问题, 子目标的设定则是战略问题 工业大数据分析的特殊性 随着数据完整性和质量的提高,人们能从不同的侧面观察对象和过程,从而 得到更加可靠、更加精确、应用范围更大、涉及领域更多的分析结果 重点:如何利用数据条件的改善,得到质量高的分析结果。注重数据模型和 杋理模型的深度融合,也就是说工业大数据分析不迫求算法的复杂,而是需要融 合机理(比如设备工作原理),将复杂问题简化,加以一定的算法和技术,找到 有效的解决方案。 工业系统的复杂度较高,要提髙数据分析的效率,关键就是设法降低分析过 程失败的概率,因此要做好前期准备性工作和后期的评估验证工作。 工业大数据建模的难点 主要矛盾:业务需求高,数据条件差 模型可能涉及因素多、变量多、维度多、机理不清晰的复杂问题,需要思考 利用专业领域知识把问题简单化,让有限的数据,分析到足够可靠的结果。 常见的问题:主要来源于业务、目标、数据、分析验证过程 1设定个兵备价佰的目标」 业关和效理解不当号的失(2业务二难以实施的日标}测 3)分析难度过大的目标 1)不能及时终止子目标 数脚质量仳,无法达邹高量结果 常见问题 建模和验证过程的大误 日标衡量的失误 型度很高,实际应用无法得刭期结果 必须对业务需求,专业领域背景知识、数据的 基本情況作尽刂能深入的理解,明确闩恿的内涵 A避免失误的方法 止确问题的难度,尽量用少的时问代价换取高的成功率和 更多的价值 要学会选择合适的方法解决合适的问题,还要对 分析结果的可靠度有和学的评佔办法 2工业大数据分析框架 CRISP-DM模型:跨行业数据挖掘流程 业务理解 数据理解 数据准备 数据 运营 建模 图2.1 CRISP-DM 相关步骤不是顺次完成,而是存在多处循环和反复,就是说实际上是探索 反复交替的过程。 它用于工业过程数据分析时,却发现问题的复杂度会急剧上升,各个步骤中 反复的次数大大增加,验证评估不合格导致从头再来的情况非常普便 为什么落地会很难? 1)工业数据关联关系复杂:多个要素互相作用所组成的系统 (2)工业数据质量差:数据不能亢全体现工业对象的情况,而且很多数据来 源于特殊的工作点,参数波动中包含大量的检测误差、数据信噪比低 信噪比:指一个电子设备或者电子系统中信号与噪声的比例。这里面的信号指 的是来白设备外部需要通过这台设备进行处理的电子信号,噪声是指经过该设 备后产生的原信号中并不存在的无规则的额外信号(或信息),并且该种信号并 不随原信号的变化而变化 (3)工业分析场景要求高:分析要求高而数据条件差、对象复杂性高 工业大数据分析的指导思想 工业大数据分析方法的关键:是如何减少不必要的反复、提高数据分析的效 率 “不必要的探索”·般是由于数据分析人员没有允分掌握已有的领域知识和 相关信息导致的;减少不必要探索的关键是数据分析知识和领域知识、相关信息 的有机结合,设法让分析师在分析的过程中,更加主动、有针对性地补充相关知 识,充分利用计算机的计算和存储能力、减少人为的介入 cR|SP-DM模型在工业大数据的应用推进 国业务理解阶段 模糊用户需求-明确的分析问题-明确的数学问题 数的内部屈 隐含信患的侵设 2数据琿解阶段 建立数据和业务的关联关系9别质量 数托可视化索 数起质量检澳与处理 数准备阶段 为数据的建模分折提供干净、有效的输入数据源 3处理数起缺失、异常啃况 4数归约、案戌变损 应用阶段 a数荆建模阶段 探索解夫问题的算法 其于业务和数据的理解,选择合适的算法和建馍工具 对数据中的规律进行固化、提取,最后输出数猖分析嘆型 复迭代找到最优斧法 ∠建立有效可靠的数模型 评估模型的精度是否满足业务要咬 囗模望验证与评估阶段分析型的中影响因子的宾备性 模型的下一步迭代指明优化路径 考察模型的假没条,是否满足实际落地的条件 为樓型的部署进行可行性验证 制定模型的使用方案和部暑方案 横型部著阶段 为愤型部过程中出现的质量门题,运行间题、精度河通等,提前做好预备方案」 制定模型的持续优化方案 3业务理解 业务理解和数据理解的目的,是在工作的前期,认识业务相关对象以及目标 要求、条件约東。在此基础上选择合适的数据分析问题,以避免工作过程中出现 方向性错误,进而减少无效和低效的劳动。 工业系统的功能描述:系统功能可以用输入输出关系描述,所有的输出都可 以看作一种“功能”。这里强调的是一个工业系统可以用多个功能。比如,高炉 不仅生产铁水,还可以生产煤气、高炉渣,还可以用来消纳橡胶轮胎等城市垃圾 功能是与场景相关的,必须完整的认识场景。 系统的环境 外部场景 输入 场量变化 设备损、性能劣化等连续变 内部场景 操作异常和故障等突发的变化 需要特别注意的是场景的变化可能引发流程的变化。比如,在铡铁生产过程 中,钢种、规格变了,工艺流程可能就会变 理解数据分析的需求 DMAIC 场景、类型、输入输出关系 界定 DCDefine) 从业务方面了解客户、需求、存在的问题,解决问题的意义 在进入数据分析之前完成 测量 M MEasure 把业务需求转化成数据问题 DAMIC 分杆( Analyze) 运用统计技术方法找出存在问题的原因 改进1(m(着成一个优数学问、确定括么敏是曼的 要在数据分忻之后完成 控(a2)([兵体的实施和落实 数据分析的价值需求 条件1:价值是真的存在,还是想当然 条件2:价值是否足够大,投入产出是否核算 只有满足这两个条件的业务才能作为数据分析的目标 价值一定是在某个业务流程中实现的,价值如何在业务流程中实现? 数据分析需坚持的一个原则是分析和应用都要结合具体的流程。 数据分析需求的梳理方法 对工业对象和业务需求的理解建议用5W1H方法(Why、What、 Where、When Who、HoW) 把与业务目标相关的因素找出来并进行分类:思维导图、鱼刺图 对要素、活动之间的关系进行更加深入的描述:BR图、流程 图、 Petri网 专业领域的知识和数据模型的融合方式: (1)利川专业领域知识识别影响ν务问题的关键因子,并加工有效特征,作 为工业建模的输入变量来融入工业分析模型中 (2)利用产品工作机理建立高效的诊断、检测、预测模型,利用数学模型去 优化机理模型控制参数,实现机理模型和数据模型的融合。

...展开详情
试读 22P 2019年工业大数据分析指南学习总结.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
上传资源赚钱or赚积分
最新推荐
2019年工业大数据分析指南学习总结.pdf 50积分/C币 立即下载
1/22
2019年工业大数据分析指南学习总结.pdf第1页
2019年工业大数据分析指南学习总结.pdf第2页
2019年工业大数据分析指南学习总结.pdf第3页
2019年工业大数据分析指南学习总结.pdf第4页
2019年工业大数据分析指南学习总结.pdf第5页

试读结束, 可继续读2页

50积分/C币 立即下载 >