omn​​inet-pytorch：在Pytorch中实现OmniNet（来自变压器的全向表示）

Omninet-Pytorch 在实现 （来自变压器的全向表示）。 作者建议，我们应该关注先前各层的所有标记，并利用最近的有效关注进展来实现此目标。 安装 $ pip install omninet-pytorch 用法 import torch from omninet_pytorch import Omninet omninet = Omninet ( dim = 512 , # model dimension depth = 6 , # depth dim_head = 64 , # dimension per head heads = 8 , # number of heads pool_l