transformers:演讲风格的变压器探索

变形金刚 作者：切尔西·扎卢米斯（Chelsea Zaloumis） 最后更新：4/15/2021 继Jay Alammar的文章的变压器”之后，对变压器进行了演讲式的探索。 包括分组讨论问题和激励示例。 演讲目标： 变压器的动力 定义变形金刚 定义自我注意 向量的自我注意 矩阵自我关注 定义多头注意力 定义编码器-解码器注意层 最终的线性和Softmax层 损失函数 参考/资源 用于单词嵌入权重 进一步的工作 编码用于自然语言处理的基本转换器。 为tbd应用编码一个不太基本的变压器。