# 拉钩网数据爬虫
#### 项目介绍
爬取拉勾网数据，并进行数据分析，可视化，分析你的专业最适合去那个城市，那个岗位最火热。
> 如果是第一次看本教程的同学，可以先从一开始：
[爬虫，从基础到进阶（一）](https://mp.weixin.qq.com/s?__biz=MzUyOTAwMzI4NA==&mid=2247483912&idx=1&sn=b0ef0a62abfb897ad9959f6cc6ab552a&chksm=fa66e473cd116d651c53fd731cc82c4eb6b192e3c5df2489f2032bb2d84be69f773f55a0a723#rd)
欢迎关注微信公众号：极简XksA
微信账号：xksnh888
转载请先联系微信号：zs820553471
交流学习
### 一、学习开始前需安装模块
```
pip install requests
pip install cvs
pip install pandas
pip install numpy
pip install jieba
pip install re
pip install pyecharts
pip install os
```
### 二、讲解概要
>为什么要爬取拉勾网？
哈哈哈，当然是因为简单，啪，原因如下：
（1）动态网页，爬起来难度更大，讲起来更有内容；
（2）与一般情况不同，我们所需内容通过get请求获取不了，需进行页面分析。
- 1.爬取拉勾网求职信息
(1)requests 请求，获取单页面
(2)分析页面加载，找到数据
(3)添加headers 信息，模仿浏览器请求
(4)解析页面，实现翻页爬取
(5)爬取数据存入csv文件
- 2.数据分析与可视化
(1)分析数据
(2)pyecharts实现数据可视化
### 三、正式开始，竖起你的小眼睛
##### 爬取拉勾网求职信息
###### （1）requests 请求，获取单页面
```
# 我们最常用的流程：网页上复制url->发送get请求—>打印页面内容->分析抓取数据
# 1.获取拉钩网url
req_url = 'https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput='
# 2.发送get请求
req_result = requests.get(req_url)
# 3.打印请求结果
print(req_result.text)
```
由上面的流程，打印输出结果如下：
```html
<html>
<head>
<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta name="renderer" content="webkit">
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<script type="text/javascript" src="https://www.lagou.com/utrack/trackMid.js?version=1.0.0.3&t=1529144464"></script>
<body>
<input type="hidden" id="KEY" value="VAfyhYrvroX6vLr5S9WNrP16ruYI6aYOZIwLSgdqTWc"/>
<script type="text/javascript">HZRxWevI();</script>
é?μé?￠?? è????-...
<script type="text/javascript" src="https://www.lagou.com/upload/oss.js"></script>
</body>
</html>
```
看的出来，与我们想象的还是差别很大。
为什么会出现这种情况，很简单，因为它并不是简单的静态页面,我们知道请求方式有get和post请求两种基本区别如下：
```text
(1)Get是向服务器发索取数据的一种请求；而Post是向服务器提交数据的一种请求，要提交的数据位
于信息头后面的实体中。GET和POST只是发送机制不同，并不是一个取一个发.
(2)GET请求时其发送的信息是以url明文发送的，其参数会被保存在浏览器历史或web服务器中，
而post则不会某（这也是后面我们翻页的时候发现拉勾网翻页时 浏览器 url栏地址没有变化的原因。）
```
###### （2）分析页面加载，找到数据
- 1.请求分析
在拉钩网首页,按F12进入开发者模式，然后在查询框中输入`python`,点击搜索,经过我的查找，终于找到了页面上职位信息所在的页面，的确是一个`post`请求，而且页面返回内容为一个`json`格式的字典。
>
- 2.返回数据内容分析
页面上：我们主要获取7个数据（公司 | 城市 | 职位 | 薪资 | 学历要求 | 工作经验 | 职位优点）
>
`json`数据中：我把爬下来的`json`数据整理了一下，如下图：
>
我们会发现，我们需要的数据全在：`req_info['content']['positionResult']['result']`里面，为一个列表，而且还包含许多其他的信息，本次我们不关心其他数据。我们所需要数据如下图框：
>
###### (3)添加headers 信息，模仿浏览器请求
通过上面的请求分析我们可以找到`post`请求的网址为：`https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false`,如果此时我们直接发送`post`请求，会提示如下代码：
```
{'success': False, 'msg': '您操作太频繁,请稍后再访问', 'clientIp': '122.xxx.xxx.xxx'}
```
出现这种提示的原因是，我们直接`post`访问url,服务器会把我们误认为‘机器人’，这也是一种反爬，解决方法很简单，加一个请求头即可完全模拟浏览器请求，请求头获取见下图：
>
###### (4)解析页面，实现翻页爬取
- 怎么实现翻页呢？
一般，我们实现翻页的方法就是自己手动的在浏览器翻页，然后观察网址的变化，找出规律，可是翻`拉钩网`的时候我们会发现，在浏览器里翻页的时候，`url框`内的网址并没有变化。
- 再次页面分析？
还得继续分析页面求，我们必须要相信，肯定是有变化的，不然，页面内容怎么可能自己变化呢？
分析发现下面规律：
在`post`请求中，有个请求参数->表单数据，包含三个参数`first、kd、pn`,通过动图演示，我们不难猜出其含义：
```
data = {
'first':'true', # 是不是第一页，false表示不是，true 表示是
'kd':'Python', # 搜索关键字
'pn':1 # 页码
}
```
> 
现阶段代码：
```
import requests
# 1. post 请求的 url
req_url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
# 2. 请求头 headers
headers = {'你的请求头'}
# 3. for 循环请求
for i in range(1,31):
data = {
'first':'false',
'kd':'Python',
'pn':i
}
# 3.1 requests 发送请求
req_result = requests.post(req_url,headers = headers,data = data)
req_result.encoding = 'utf-8'
# 3.2 获取数据
req_info = req_result.json()
# 打印出获取到的数据
print(req_info)
```
###### (5)爬取数据存入csv文件
```
def file_do(list_info):
# 获取文件大小
file_size = os.path.getsize(r'G:\lagou_test.csv')
if file_size == 0:
# 表头
name = ['公司','城市','职位','薪资','学历要求','工作经验','职位优点']
# 建立DataFrame对象
file_test = pd.DataFrame(columns=name, data=list_info)
# 数据写入
file_test.to_csv(r'G:\lagou_test.csv', encoding='gbk',index=False)
else:
with open(r'G:\lagou_test.csv','a+',newline='') as file_test :
LG网数据爬虫.zip
需积分: 1 126 浏览量
2023-08-26
18:40:14
上传
评论
收藏 11KB ZIP 举报
LG网数据爬虫.zip （5个子文件） 
lagou_data_spider-master 
LICENSE 10KB .gitee ISSUE_TEMPLATE.zh-CN.md 79B PULL_REQUEST_TEMPLATE.zh-CN.md 105B .gitignore 1KB README.md 12KB资源评论
wzxue1984
- 粉丝: 18
- 资源: 913
