#爬虫进阶知识点(方便温习做点笔记)
ua添加
cookie获取
lxml之etree利用
URL自动获取
一种图片保存方式
ua上什么?
ua即是User-agent的缩写,个人理解为使得服务器通过ua把你识别为一个浏览器而不是爬虫;
ua获取
打开chrome浏览器,右键检查,点击network,在下方寻找到一个url点击一下,即可出现一些信息,其中一条为User-agent
也可以在网上搜索ua大全,随便抄一条
本人上网上随便抄的:
“”“
‘User-Agent’ : ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/53