python爬虫-爬知网社科基金信息.rar_python 爬虫知网_文献搜索_爬虫爬文献_知网爬虫_知网社科基金

本程序是一个用python语言编写的爬虫程序，旨在爬取知网中以关键词“国家社科”搜索，然后将搜索出的结果自动爬取出来。由于爬取的内容不在一个页面里，所以涉及到了二次加载。主要爬取：题名、作者、单位、文献来源、关键词、摘要、年份、页码等几项内容。注意事项：由于知网网站的特点，需要伪造cookie，你要从浏览器里复制出来，代码cookie里的值替换成你的。说明：1本程序是在参考别人程序的基础上写的，由于程序自用，写得不是很严谨。2.本程序稍加修改就可以从知网爬取以你设定关键字的文章信息。