构件：用于文本预处理的构件

建筑模块 以下是我们在文本语料库实验室中使用的语料库工具的列表。 它们旨在作为通用的构建基块，允许我们在不同流程之间进行转换。 每个工具都应视为独立工具，并且包括代码（ ~/code ）和文档（ ~/docs ）。 ~/code所有工具的合并的requirements.txt文件。 该文档将包括有关代码用途以及如何运行代码的说明。 先决条件 所有脚本均遵循我们的标准和指令。 剧本 所有脚本命令均以PowerShell语法显示。 如果您使用其他外壳程序，则语法会有所不同。 在任何脚本的前面添加-O “优化”模式运行它。 在某些情况下，这可以提高50％，但可以防止出错。 如果运行中有错误，请除去-O ，捕获错误，然后提交。 一个JSON文件文件夹为一个JSONL文件。 一个TXT文件文件夹为一个JSONL文件。 通过仅保留一些元素，JSONL文件转换为较小的JSONL文件。 TXT