ICLR2020---如何判断两个神经网络学到的知识是否一致.pdf资源-CSDN文库

版权申诉

126 浏览量 2023-08-12 22:14:02 上传评论收藏 1.37MB PDF 举报

资源推荐

资源详情

资源评论

ICLR2020 | 如何判断两个神经⽹络学到的知识是否⼀致

2⽉17⽇⼣⼩瑶的卖萌屋

⼀只⼩狐狸带你解锁NLP/ML/DL秘籍

正⽂来源：机器之⼼

前⾔

⼈⼯智能顶会 ICLR 2020 将于 4 ⽉ 26 ⽇于埃塞俄⽐亚⾸都亚的斯亚⻉巴举⾏。在最终提交的 2594 篇论⽂中，有 687 篇被接

收，接收率为 26.5%。本⽂介绍了上海交通⼤学张拳⽯团队的⼀篇接收论⽂——《Knowledge Consistency between Neural

Networks and Beyond》。在本⽂中，研究者提出了⼀种对神经⽹络特征表达⼀致性、可靠性、知识盲点的评测与解释⽅法。

论⽂链接：https://arxiv.org/pdf/1908.01581.pdf

概览

深度神经⽹络（DNN）已经在很多任务中表现出了强⼤的能⼒，但⽬前仍缺乏诊断其中层表征能⼒的数学⼯具，如发现表征中

的缺陷或识别可靠/不可靠的特征。由于数据泄漏或数据集发⽣变化，基于测试准确率的传统 DNN 评测⽅法⽆法深⼊评估 DNN

表征的正确性。

因此，在本论⽂中，来⾃上海交⼤的研究者提出了⼀种从知识⼀致性的⻆度来诊断 DNN 中层⽹络表征能⼒的⽅法。即，给定

两个为同⼀任务训练的 DNN（⽆论⼆者架构是否相同），⽬标是检验两个 DNN 的中间层是否编码相似的视觉概念。

该研究实现了：（1）定义并量化了神经⽹络之间知识表达的不同阶的⼀致性；（2）对强弱神经⽹络中层知识进⾏分析；（3）

对中层特征的诊断，在不增加训练样本标注的前提下进⼀步促进神经⽹络分类准确率；（4）为解释神经⽹络压缩和知识蒸馏提

供了⼀种新的思路。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余4页未读，立即下载

内容反馈

版权申诉

地理探险家

粉丝: 1043
资源: 5416

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip