爬虫岗位职责.docx
需积分: 1 59 浏览量
2023-08-04
21:58:29
上传
评论
收藏 18KB DOCX 举报
爬虫岗位职责
爬虫岗位职责 1
职位描述：
工作职责：
1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；
2、负责网页信息和 app 数据抽取、清洗、消重等工作，提升平台的抓取效率；
3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
4、实时监控爬虫的进度和警报反馈。
任职要求：
1、有扎实的算法和数据结构能力；
2、熟悉爬虫原理，熟悉常见的`反爬虫技术，有爬虫相关项目开发经验者优先；
3、掌握 http 协议，熟悉 html、dom、xpath 等常见的数据抽取技术；
4、有大规模数据处理、数据挖掘、信息提取等经验者优先。
爬虫岗位职责 2
职责描述:
1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作;
2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作;
任职要求:
1、计算机、数学或统计等相关专业本科及以上学历,1 年以上爬虫相关工作经验;
2、熟悉 linux 平台,熟练掌握 python 或 java 爬虫开发工作;
3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术;
4、有反爬相关问题处理经验,精通常用的`爬虫技术及架构设计,并能快速开发实现;
5、具备良好的编程习惯和算法基础;
6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。
爬虫岗位职责 3
工作内容：
1、基础系统架构、模块、库和组件的研发；
2、分布式海量数据存储和分析系统的研发和调优；
3、统计分析、报表、saas 业务等系统研发；
4、crm、财务结算、工作流等内部管理系统的研发。
能力要求：
1、至少使用 php/java/python 等一门以上语言，开发过不算太小的项目；
2、熟悉数据结构、db、os、web 开发等相关知识，对 linux 相关的各类技术情有独钟；
3、有大规模、高性能互联网网站系统相关的.设计和开发经验者优先；
4、具备良好的学习能力和成长潜力，渴望和团队一起快速成长。
爬虫岗位职责 4
职责描述：
1，负责网络爬虫系统的'设计与开发
资源评论
