Last_Query_Transformer_RNN-PyTorch:在PyTorch中实施论文“用于知识跟踪的最新查询变压器R...

Last-Query-Transformer-RNN 文章。 该模型的新颖之处在于，它仅使用最后一个输入作为变压器编码器中的查询，而不是所有序列，这使得变压器编码器中的QK矩阵乘法具有O（L）时间复杂度，而不是O（L ^ 2） 。 它允许模型输入更长的序列。 模型架构 用法 from last_query_model import * seq_len = 100 total_ex = 1200 total_cat = 234 total_in = 2 in_ex , in_cat , in_in = random_data ( 64 , seq_len , total_ex , total_cat , total_in ) model = last_query_model ( dim_model = 128 , heads_en = 1 ,