PDX-Council-Minutes-Data:使用Luigi流程框架运行ETL作业的演示项目

PDX委员会会议记录数据 尝试提取和清理PDX Council Minutes数据并使其可搜索。 当前，数据以令人讨厌的PDF格式格式化，这使解析变得比期望的更为复杂。 该项目也是使用Luigi流程框架运行Web数据的ETL作业的演示。 ##概述###提取使用请求，提取Web资产并解析html数据以获取主题数据。 向上拉波特兰议会会议页面，索引每个年度会议列表的链接。 构造可用的Minutes文档列表 拉出所有先前未处理的Minute文档每分钟文档是它自己的目录/任务，由UID分隔 ### Transform Sanitize示例，清理/处理/处理/提取nlp提取的数据以进行记录。 每个Minutes文件都是一个pdf文件，需要对其进行分析以提取标题和内容数据。 使用PyPDF2提取文本。 确定是否仅需要文本转换。 清理数据 从PDF文本中提取标题信息包含会议信息，但大多无用