openwebtext:OpenAI未发布的WebText数据集刮板的开放克隆。 此版本使用pushshift.io文件而不是A...

OpenWebText （ ，（ ）和（ OpenAI未发布的WebText数据集（， ，）刮板的开放克隆，用于训练GPT-2。 当前结果是超过2300万个URL和1000万个HTML页面。 此实现从预下载的（每月）pushshift.io Reddit提交转储中挖掘和智能删除重复的+3个业力URL（比连续调用Web API快得多），下载原始HTML并提取文本。 为了节省时间，您可以在使用预过滤的URL列表，这会将140GB的pushshift数据减少到内容抓取实际需要的2GB URL。 还有一个用于标记的初始实用程序，我们正在寻求尽快添加BPE编码。 该代码库是有功能的，但是正在积极开发中，因此请随时发布问题或提出改进建议（欢迎提出请求）。 依存关系 如果使用pipenv（ pip install --user pipenv ），则cd到项目根目录并运行 pipenv ins