C#从CSV文件批量导入数据保存到数据库

在C#编程中，批量导入CSV数据到数据库是一项常见的任务，尤其在数据分析、报表生成或系统集成等场景中。下面将详细阐述这个过程中的关键知识点，包括数据读取、列名映射、数据验证和数据库操作。 我们需要处理CSV文件。CSV（Comma Separated Values）是一种通用的数据交换格式，每行数据由逗号分隔，通常用于存储表格数据。在C#中，我们可以使用`System.IO`命名空间下的`TextFieldParser`类或者`Microsoft.VisualBasic.FileIO.TextFieldParser`类来解析CSV文件。例如： ```csharp using Microsoft.VisualBasic.FileIO; using System.IO; string csvFilePath = "path_to_your_csv_file.csv"; TextFieldParser parser = new TextFieldParser(csvFilePath); parser.TextFieldType = FieldType.Delimited; parser.SetDelimiters(","); while (!parser.EndOfData) { string[] fields = parser.ReadFields(); // 处理每一行的数据 } parser.Close(); ``` 在导入数据前，我们需要确定CSV的第一行是列名。如果第一行确实代表列名，我们可以使用这些列名来映射数据库表的字段。例如，假设我们有一个名为`Employees`的数据库表，有`Id`, `FirstName`, 和 `LastName`三个字段，我们可以通过比较CSV列名和表字段名来构建SQL INSERT语句或使用ORM框架如Entity Framework来执行数据插入。 导入数据有两种方式，如描述中提到的： 1. **从加载预览的DataSet导入**：先将CSV数据加载到DataSet中，然后通过DataTable的`Load`方法实现。DataSet可以方便地进行数据验证和转换。例如： ```csharp DataTable dataTable = new DataTable(); using (var reader = new StreamReader(csvFilePath)) { string line; while ((line = reader.ReadLine()) != null) { string[] columns = line.Split(','); dataTable.Rows.Add(columns); } } // 验证和转换数据 // ... // 使用DataTable与数据库交互 // ... ``` 2. **直接从CSV文件导入**：这种方法通常涉及流式处理，避免一次性加载整个CSV文件到内存。可以逐行读取文件，处理每一行数据，然后直接插入数据库。这样可以处理大型CSV文件。 在导入过程中，数据验证是必不可少的步骤。这可能包括检查数据类型是否匹配，验证是否为空，以及处理可能出现的异常字符。一旦数据验证通过，就可以将数据插入到数据库中。对于SQL Server，可以使用SqlCommand的`ExecuteNonQuery`方法执行INSERT语句；对于其他数据库，如MySQL、SQLite等，也有相应的API可供使用。 如果使用ORM框架，如Entity Framework，我们可以创建一个实体类对应数据库表，并通过`DbContext`的`DbSet<T>`属性添加并保存数据。例如： ```csharp public class Employee { public int Id { get; set; } public string FirstName { get; set; } public string LastName { get; set; } } public class MyDbContext : DbContext { public DbSet<Employee> Employees { get; set; } } // 导入数据 using (var context = new MyDbContext()) { foreach (var row in parsedRows) { var employee = new Employee { FirstName = row[0], LastName = row[1] }; context.Employees.Add(employee); } context.SaveChanges(); } ``` 以上就是C#从CSV文件批量导入数据保存到数据库的主要步骤和相关知识点。确保在实际操作中考虑到错误处理、性能优化以及安全性问题，比如防止SQL注入等。在处理大量数据时，可以考虑使用事务来保证数据一致性，或者采用批处理的方式减少数据库交互次数。