Node.js下向MySQL数据库插入批量数据的方法

项目(nodejs)中需要一次性插入多笔数据到数据库，数据库是mysql的，由于循环插入的性能太差，就像使用批量插入的方法提高数据的插入性能。 批量插入的数据库的表结构如下： 1.数据库连接 var mysql = require('mysql'); // 数据库信息 var connection = mysql.createConnection({ host : 'localhost', user : '数据库用户名', password : '数据库登录密码', database : '操作数据库名' }); 将插入数据转换成嵌套数组 例如要插入的两条数据： 记录1： f 在Node.js环境中，当需要高效地向MySQL数据库批量插入数据时，传统的循环插入方式往往会导致性能低下，因为每个插入操作都会触发一次与数据库的交互。为了解决这个问题，可以使用MySQL驱动提供的批量插入方法，这将大大提高数据导入的效率。以下是如何在Node.js中实现这一目标的详细步骤： 需要安装MySQL驱动。在项目目录中，通过npm（Node.js的包管理器）安装`mysql`库： ```bash npm install mysql ``` 接下来，建立数据库连接。在Node.js代码中引入`mysql`库并创建一个连接对象： ```javascript var mysql = require('mysql'); var connection = mysql.createConnection({ host: 'localhost', user: '数据库用户名', password: '数据库登录密码', database: '操作数据库名' }); ``` 然后，准备要插入的数据。这里假设有一个名为`url`的表，字段包括`from`、`to`、`status`和`is_new`。批量插入的数据可以转换成二维数组的形式： ```javascript var values = [ ["index", "www.alibaba.com", 1, 0], ["index1", "www.google.com", 1, 0] ]; ``` 构造批量插入的SQL语句，使用问号（`?`）作为占位符，并在调用`query`函数时传入数据数组： ```javascript var sql = "INSERT INTO url(`from`, `to`, `status`, `is_new`) VALUES ?"; ``` 执行插入操作，并处理可能出现的错误： ```javascript connection.connect(); connection.query(sql, [values], function (err, rows, fields) { if (err) { console.log('INSERT ERROR - ', err.message); return; } console.log("INSERT SUCCESS"); }); connection.end(); ``` 上述代码中，`connection.query()`函数用于执行SQL语句。当插入操作成功时，控制台会打印"INSERT SUCCESS"；如果出现错误，错误信息会被打印出来。 对于大数据量的插入，考虑到事务的使用，可以将所有插入操作包裹在一个事务中，确保数据的一致性。如果在事务中的某一步骤失败，可以回滚事务，防止部分数据被写入数据库。以下是一个基于事务的示例： ```javascript connection.beginTransaction(function (err) { if (err) throw err; // 循环插入或更新操作 for (var i = 0; i < values.length; i++) { var currentValue = values[i]; var insertSql = "INSERT INTO url(`from`, `to`, `status`, `is_new`) VALUES (?, ?, ?, ?)"; connection.query(insertSql, currentValue, function (err, result) { if (err) { console.log('Transaction Error - ', err.message); connection.rollback(function () { console.log('Transaction rolled back due to error'); }); return; } // 如果所有操作都成功，提交事务 if (i === values.length - 1) { connection.commit(function (err) { if (err) { console.log('Commit Error - ', err.message); connection.rollback(function () { console.log('Transaction rolled back due to commit error'); }); } else { console.log('Transaction committed successfully'); } }); } }); } }); ``` 批量插入数据不仅可以提高性能，还可以降低数据库的负载，尤其适用于大量数据的导入场景。在实践中，应当根据实际需求选择合适的批量大小，以平衡性能和内存消耗。此外，务必确保在操作完成后关闭数据库连接，避免资源浪费。