python工具-excel批量导入mysql (几千万数据半小时可搞定)

在IT行业中，Python语言因其简洁明了的语法和强大的库支持而被广泛应用于各种场景，包括数据处理和数据库操作。本篇文章将详细讲解如何利用Python工具实现Excel数据的批量导入到MySQL数据库，以及如何优化这一过程，使得几千万的数据能够在半小时内完成导入。 我们需要了解Python中用于操作Excel的主要库——pandas。Pandas库提供了DataFrame对象，它能够高效地处理和分析大型数据集。使用pandas，我们可以轻松读取Excel文件，并将其转换为DataFrame对象，便于后续处理。代码示例如下： ```python import pandas as pd # 读取Excel文件 def read_excel_file(file_path): return pd.read_excel(file_path) # 假设文件名为'file.xlsx' df = read_excel_file('file.xlsx') ``` 接下来，我们需要与MySQL数据库建立连接。Python的`mysql-connector-python`库可以帮助我们实现这一目标。首先安装库（如果尚未安装）： ```bash pip install mysql-connector-python ``` 然后，编写连接数据库和执行SQL语句的函数： ```python import mysql.connector def connect_mysql(config): connection = mysql.connector.connect( host=config['host'], user=config['user'], password=config['password'], database=config['database'] ) return connection # 示例配置 config = { 'host': 'localhost', 'user': 'your_username', 'password': 'your_password', 'database': 'your_database' } connection = connect_mysql(config) ``` 有了数据和数据库连接，我们就可以将数据批量写入MySQL。由于大数据量可能导致内存溢出，我们可以分批写入数据，比如每次处理10000行： ```python def batch_insert(connection, df, table_name, chunksize=10000): for chunk in df.iterrows(chunksize=chunksize): chunk_df = pd.DataFrame(chunk[1]) chunk_df.columns = df.columns # 保持原有列名 sql = f"INSERT INTO {table_name} VALUES (%s, %s, ..., %s)" chunk_df.to_sql(table_name, con=connection, if_exists='append', index=False, chunksize=chunksize, method='multi') # 假设表名为'table_name' batch_insert(connection, df, 'table_name') ``` 在实际应用中，为了提高导入效率，可以考虑以下优化策略： 1. **预处理数据**：在导入前清洗和转换数据，删除无效或重复的行，避免无效数据占用资源。 2. **创建索引**：对数据库表的主键或频繁查询的列创建索引，提升查询速度。 3. **优化数据库配置**：增加内存分配，调整SQL语句的执行计划，或者开启多线程导入。 4. **使用批量插入**：如上所示，分批写入数据可以减少数据库连接的开销，提高性能。 5. **利用存储过程**：在数据库端编写存储过程，执行数据导入，利用数据库本身的优化机制。 通过以上步骤和优化策略，即使面对几千万条数据，也能在较短的时间内完成导入。在本例中，提供的`excelImport.py`脚本应该包含了上述部分或全部逻辑，用于实现快速批量导入Excel数据到MySQL数据库。根据实际需求，你可以对脚本进行调整，例如适应不同的数据库字段结构或处理更多Excel文件。