shell的多线程&当前文件夹下批量插入MySQL

在IT领域，Shell脚本是一种常用的自动化工具，用于在Linux或Unix系统中执行一系列命令。虽然Shell本身并不支持真正的多线程，但可以通过巧妙的方法模拟多线程的行为，以提高处理任务的效率。本文将详细讲解如何在Shell脚本中实现多线程，并结合实例介绍如何批量插入MySQL数据库。 我们需要理解为什么要使用多线程。在处理大量并发任务时，多线程可以并发执行任务，避免串行执行的低效，尤其在需要对多个主机进行批量操作或检查时（如SSH、PING等）。在Shell中，我们通常借助命名管道（FIFO）来实现这一目标。 下面通过一个简单的例子来说明如何创建和使用多线程Shell脚本： 1. 创建FIFO文件：FIFO是一种特殊的文件类型，它可以作为两个进程之间的通信通道。在我们的例子中，它用于同步和控制线程的执行。`mkfifo`命令用于创建FIFO文件。 2. 定义线程数：我们通过变量`thread`来设定最大同时执行的线程数量。然后，用一个for循环向FIFO文件写入字符，这样做的目的是通过字符的数量来控制线程的数量。 3. 执行任务：在这个阶段，我们使用`read -u <fd>`命令从指定的文件描述符读取数据。当从FIFO文件中读取到一个字符时，就开始执行相应的任务。在这个例子中，任务可能是执行SQL脚本并将其插入到MySQL数据库中。 4. 等待所有子进程结束：使用`wait`命令确保所有子进程执行完毕后才继续执行后面的代码。关闭FIFO文件描述符，并最终退出脚本。 下面是一个具体的多线程插入MySQL的示例： ```bash starttime=$(date +'%Y-%m-%d %H:%M:%S') echo "$starttime" function my_cmd() { mysql -h 11.28.122.12 -P 53608 -unjalk -p'NJOKO89MDSJJDKDSDSNE' -f < "$1" sleep 188 } tmp_fifofile="/tmp/$$.fifo" mkfifo $tmp_fifofile exec 6<>$tmp_fifofile rm $tmp_fifofile thread_num=32 for ((i=0; i<${thread_num}; i++)); do echo done >&6 c=0 for file_a in $(find ./ -type f -name "*.sql"); do read -u6 { my_cmd "$file_a" echo >&6 } & ((c++)) done wait exec 6>&- endtime=$(date +'%Y-%m-%d %H:%M:%S') echo "$endtime" ``` 在上面的脚本中，`my_cmd`函数负责执行MySQL的插入操作，`find`命令用来查找当前目录下的所有.sql文件。每个文件将作为一个单独的任务，由一个线程执行。线程的数量通过`thread_num`变量控制，而`read -u6`和`echo >&6`的组合则用于管理这些线程，确保不会超过设定的最大线程数。 脚本最后计算运行时间，提供了一种监控任务执行情况的方式。 总结起来，虽然Shell本身不支持多线程，但我们可以通过FIFO文件和进程间的通信来模拟多线程行为，实现批量处理任务，例如在当前目录下批量插入MySQL数据库。这种方法在处理大量并发任务时非常有用，提高了工作效率。