RISJbot:一个从新闻网站提取文章的文本和元数据的棘手项目

RISJbot 从新闻网站提取文章的文本和元数据的艰巨项目。 这应该提供从任意新闻网站获取所需的大部分结构和解析代码。 它可能在某些或多个已经编写了特定蜘蛛的网站上开箱即用（请参阅下文），但是请注意，网页抓取工具本质上有些脆弱：它们取决于每个网站的基本格式和结构页，当这些更改时，它们往往会断裂。 尽管RISJbot的后备抓取工具可以对任意新闻页面进行合理的处理，但它不能替代手工定制的蜘蛛。 拥有一定程度的Python经验将非常有帮助。 如果站点更新其模板，或者您要向集合中添加新站点，则需要进行一些编码。 我已尝试确保对现有代码进行正确注释。 如果您发现自己需要了解幕后发生的事情，那么Scrapy文档本身就是非常不错的。 您应该知道，这是为了支持作者对在线新闻的学术研究而编写的。 它仍为此目的而积极地开发（如果不是很慢的话），但是它不是生产级代码，并且与大多数免费软件相比，提供的保证