表情符号预测的多分辨率注释的实现
依存关系:
带有CUDA的和 库。
使用conda的示例设置:
conda create -n transformer python
conda install pytorch cudatoolkit=10.1 -c pytorch -c conda-forge
pip install transformers
资料准备
由于原始数据仅提供对应于每个短语而不是每个句子的标签。需要额外的预处理才能访问每个句子的标签。因此,我们使用了这个包( ),该包允许我们使用python中的pickle模块直接加载所有这些文件。由于所有用于SST的原始数据都存储在包的/root目录中,因此我们克隆了这个github文件夹,并将我们的SST处理代码放在/SST2-Sentence目录下,该目录直接对每个拆分集的加载数据进行腌制并将其格式化为所需的Pytorch数据加