自动化需求文档-202110111

【自动化需求文档-202110111】主要涵盖了自动化爬虫技术在金融信息领域的应用，目的是为了收集和处理与股票、投资、配资等相关的信息，以便生成具有针对性和高质量的内容。以下是文档中涉及的主要知识点： 1. **关键词段落**： - **数据获取**：通过设定定时任务，每天从指定的股票资讯站点抓取包含特定关键词的原创文章段落。 - **关键词筛选**：首先判断文章是否包含关键词"配资"，然后去掉首尾段落，选取中间包含标签词的段落，要求段落长度在100至500个字符之间。 - **数据标注**：对符合条件的段落进行标注，包括关键词、替换关键词，并替换链接词。 - **API调用**：利用HTTP Post请求向特定地址提交处理后的数据，其中API key由"data pool"和时间戳MD5加密生成。 2. **关联段落**： - **数据源**：从指定的股票知识网站获取最近三天内与股票相关的段落。 - **筛选条件**：段落需包含至少一个股票关键词，如"个股"、"股市"等，且长度在250至500字符之间。排除包含特定词汇（如"图"、股票名称或代码、日期等）以及指向性强的段落。 - **自动化脚本**：为每个数据源编写自动化执行脚本，每小时更新一次。 - **额外任务**：定期更新A股股票名称和代码表，以避免重复和保持最新。 3. **缩略图**： - **图像处理**：获取金融类通用图片，通过MD5加密生成唯一标识，按照121x75的尺寸进行裁剪并重命名。 4. **内容图**： - **图像要求**：同缩略图，但可能用于不同场景，仍需要金融类图像，MD5命名，尺寸处理。 5. **视频**： - **视频筛选**：从抖音和快手等平台搜索股票相关知识型或炒股技巧视频，要求时长2到5分钟，无时间限制、个股评论、股票名称或指数。 - **更新频率**：每小时更新一次，生成股票通用型文章素材。 6. **传点评数据**： - **评论收集**：寻找股票相关的评论，增加网站相关性信息更新。 - **筛选标准**：排除包含时间、个股评论、股票名称或代码的评论。 以上内容体现了自动化在信息采集、处理、分析中的重要作用，涉及网页爬虫技术、数据筛选与清洗、API接口设计、图像处理和视频筛选等多个方面。通过这些自动化流程，可以有效提升内容生成的效率和质量，满足金融信息网站的日常运营需求。