第三周:浅层神经网络.pdf
吴恩达深度学习与神经网络课程笔记。第三周:浅层神经网络(Shallow neural networks)
吴恩达深度学习与神经网络第二周课程笔记。神经网络的编程基础(Basics of Neural Network programming)
在本文中,我们提出了RNN-Capsule,这是一种基于递归神经网络(RNN)的胶囊模型,用于情感分析。对于给定的问题,针对每个情感类别(例如“正”和“负”)构建一个胶囊。每个胶囊都有一个属性,一个状态和三个模块:表示模块,概率模块和重建模块。胶囊的属性是分配的情感类别。给定一个由典型RNN在隐藏矢量中编码的实例,表示模块将通过注意力机制构建胶囊表示。根据胶囊表示,概率模块计算胶囊的状态概率。如果胶囊的状态概率在给定实例的所有胶囊中最大,则该胶囊的状态为活动,否则为非活动。在两个基准数据集(即Movie Review和Stanford Sentiment Treebank)和一个专有数据集(即Hospital Feedback)上,我们显示RNN-Capsule在情感分类方面达到了最先进的性能。更重要的是,RNN-Capsule无需使用任何语言知识,就能够输出具有反映胶囊属性的情感倾向的单词。这些词很好地反映了数据集的领域特异性。
本文探讨了一种简单有效的文本分类基准。 我们的实验表明,我们的快速文本分类器fastText在准确性方面经常与深度学习分类器相提并论,其训练和评估速度要快多个数量级。 我们可以使用标准的多核CPU在不到十分钟的时间内训练10亿多个单词上的fastText,并在一分钟之内将312K类中的50万个句子分类。
本文提供了使用字符级卷积网络(ConvNets)进行文本分类的实证研究。 我们构建了几个大型数据集,以表明字符级卷积网络可以达到最新水平或竞争结果。 可以与传统模型(例如单词袋,n-gram及其TFIDF变体)以及深度学习模型(例如基于单词的ConvNets和递归神经网络)进行比较。
阅读者勋章
创作能手
分享达人
分享小兵
分享学徒