shell脚本作为保证PHP脚本不挂掉的守护进程实例分享

前几天开始跑一份数据名单，名单需要提供用户名、是否有手机号、是否有邮箱，用户名单我轻易的获取到了，但是，用户名单有2000w之多，并且去检测用户是否有手机号、是否有邮箱必须得通过一个对外开放的安全接口一个一个用户去请求，然后分析返回值才能知道。下面是我处理的方案：1、将2000w名单保存到临时数据表2、用PHP程序每次从该表获取500个用户，检测完后生成SQL update原纪录3、为了防止PHP程序突然断掉，用shell脚本每隔1分钟检测，PHP挂掉了则重启我使用shell脚本作为守护进程的原因是，手机与邮箱的检测接口速度慢，不可能在1~2天将2000w用户检测完。方案详细：1、临时保存用户 在IT行业中，尤其是在服务器管理和自动化任务执行的场景下，shell脚本经常被用来实现复杂的任务调度和监控。在这个实例中，我们看到一个解决方案是利用shell脚本来确保PHP脚本能够持续运行，即使PHP脚本意外中断，也能通过shell脚本进行重启。这个策略尤其适用于那些耗时较长的任务，例如大规模数据的处理。 问题的背景是有一个包含2000万个用户名的数据集，需要检查每个用户是否有手机号和邮箱。这个过程通过调用外部接口来完成，因此速度较慢。为了处理这个问题，采用了以下步骤： 1. **数据存储**：创建一个名为`users`的临时数据库表，包含`account`(用户名)、`has_phone`(是否有手机号)、`has_email`(是否有邮箱)和`flag`(标志位)字段。`flag`字段用于标识用户是否已处理。 2. **数据导入**：将所有用户名导入`users`表，初始时`has_phone`和`has_email`均为0，`flag`也为0表示未处理。 3. **PHP脚本**：编写`check_users.php`，该脚本负责每次获取`flag`为0的500个用户，通过外部接口查询其手机号和邮箱状态，生成相应的SQL更新语句，存入数组`$sqls`。当500个用户处理完毕后，更新数据库并将`flag`设为1，表示这些用户已完成检测。 在PHP脚本的逻辑中，有以下几个关键部分： - `getUsers()`方法：获取未处理的500个用户。 - `checkUserInfo()`方法：调用接口，检查用户信息，并构建SQL更新语句。 - `updateUserInfo()`方法：执行SQL数组中的更新语句，更新数据库状态。 - `run()`方法：主循环，直到所有用户处理完毕或达到预设的退出条件。 4. **守护进程**：利用shell脚本每隔1分钟检查`check_users.php`的状态。如果发现PHP脚本挂掉，shell脚本会自动重启它。这样可以保证即使PHP脚本因任何原因停止，任务也能继续进行。 这个方案的实现涉及到Linux系统管理、数据库操作和PHP编程。shell脚本作为守护进程是通过定时任务（如cron job）或持续监控脚本状态来实现的，当检测到PHP进程结束时，可以使用`kill`命令或者`nohup`等工具重启PHP脚本。 这个实例展示了如何结合shell脚本和PHP来处理大数据量的批处理任务，同时确保任务的稳定性和持久性。通过合理设计和优化，这种方案可以有效地处理类似的大规模数据处理问题，而不会过度消耗系统资源。