在IT运维和数据分析领域，实时监控网站流量是一项重要的任务。本文将详细探讨如何使用shell脚本定时统计Nginx服务器的access.log文件中的页面浏览量(PV)，并将这些统计结果通过API发送到服务器端进行保存。这种方法有助于收集和分析网站的访问数据，为优化网站性能提供依据。
我们需要了解如何使用shell命令来统计access.log文件中的关键信息。PV，即Page View，代表了页面被访问的次数。在shell中，可以使用以下命令来统计特定日期的PV：
```bash
# 统计当天的PV
cat access.log | sed -n "/$(date '+%d/%b/%Y')/p" | wc -l
# 统计指定日期的PV
cat access.log | sed -n '/20/Sep/2018/p' | wc -l
```
同时，我们还可以分析访问日志中不同IP地址的访问次数。例如，查看访问次数最多的前10个IP：
```bash
cat access.log.1 | cut -d ' ' -f 1 | sort | uniq -c | sort -nr | head -n 10
```
如果要筛选出访问次数超过1000次的IP，可以使用awk命令：
```bash
cat access.log.1 | cut -d ' ' -f 1 | sort | uniq -c | sort -nr | awk '{if ($1 > 1000) print $0}' | head -n 10
```
接下来，我们需要用curl命令将统计结果发送给API。curl是一个强大的命令行工具，可以用来发送HTTP请求。例如，发送GET请求、POST请求以及JSON格式的数据：
```bash
# 发送GET请求
curl http://127.0.0.1:8080/login?admin&passwd=12345678
# 发送POST请求
curl -d "user=admin&passwd=12345678" http://127.0.0.1:8080/login
# 发送POST的JSON数据
curl -H "Content-Type:application/json" -X POST -d '{"user": "admin", "passwd":"12345678"}' http://127.0.0.1:8000/login
# 发送动态参数POST请求
curl -i -X POST -H "'Content-type':'application/json'" -d '{"ATime":"'${atime}'","BTime":"'${btime}'"}' ${url}
```
结合上述统计和发送操作，我们可以编写一个完整的shell脚本来实现定时任务：
```bash
#!/bin/bash
log_path=/var/log/nginx/access.log
domain="http://127.0.0.1:8080/data/count"
log_date=$(date "+%d/%b/%Y")
total_visit=$(cat ${log_path} | grep $log_date | wc -l)
curl -d "count=${total_visit}" ${domain}
echo $total_visit
```
这个脚本会读取Nginx的access.log文件，统计当天的PV，并将结果通过POST请求发送到指定的API地址。在服务器端，可以使用如Spring MVC的@RequestMapping注解来接收并处理这个请求，然后将数据保存到数据库：
```java
@RequestMapping(value = "/count")
public void count(@RequestParam String count) {
// 业务代码：保存count到数据库
}
```
总结起来，通过shell脚本定时统计Nginx的access.log文件，我们可以有效地获取网站的访问数据，再通过API接口将这些数据传递到服务器端进行存储和分析。这种方法不仅提高了数据处理的自动化程度，也方便了对网站流量的实时监控和历史数据的回溯分析。对于网站运营者来说，这是一项非常实用的技术，有助于优化网站性能，提升用户体验。
