日期:2014-05-18  浏览次数:20575 次

将大量数据写入数据库?(速度如何提高?)
数据量总的在20亿条左右。源数据为3万多个Csv文件。
现在写入速度为大约5分钟10万条记录。
表为一张,每个Csv文件的例数是一致的。但例名不一致。
现在采用的方法为先读出文件,然后写入数据库。
在数据库方面有那样好的建议?程序开发用C#。数据库为:SqlServer2005;
数据导入后还须用存储过程计算后存入另一张表。

------解决方案--------------------
SSIS
------解决方案--------------------
SSIS 导入 
INSERT 恐怕。。。
SET ROWCOUNT 或者INSERT TOP(.....) (除非你非要用INSERT)
------解决方案--------------------
利用.NET2005表中的一个类 SqlBulkCopy

利用bcp的方式:


C# code

private bool SqlBulkCopy(DataTable dt)
        {
            SqlConnection cnnSql = new SqlConnection("USER ID=sa;PASSWORD=;INITIAL CATALOG=test;DATA SOURCE=.;");
        
            cnnSql.Open();
            try
            {
                startTime = DateTime.Now;
                //数据批量导入sqlserver,创建实例    SqlBulkCopyOptions.UseInternalTransaction采用事务  复制失败自动回滚
                System.Data.SqlClient.SqlBulkCopy sqlbulk = new System.Data.SqlClient.SqlBulkCopy(cnnSql);//, SqlBulkCopyOptions.UseInternalTransaction);
                
               // System.Data.SqlClient.SqlBulkCopy sqlbulk = new System.Data.SqlClient.SqlBulkCopy(System.Configuration.ConfigurationSettings.AppSettings["ConStr"], SqlBulkCopyOptions.UseInternalTransaction);
                sqlbulk.SqlRowsCopied +=
                new SqlRowsCopiedEventHandler(OnRowsCopied); //订阅复制完成后的方法,参数是 sqlbulk.NotifyAfter的值
                sqlbulk.NotifyAfter = dt.Rows.Count;

                //目标数据库表名
                sqlbulk.DestinationTableName = "INVTDA";
                //数据集字段索引与数据库字段索引映射
                sqlbulk.ColumnMappings.Add(0, 0);
                sqlbulk.ColumnMappings.Add(1, 1);
                sqlbulk.ColumnMappings.Add(3, 3);
                sqlbulk.ColumnMappings.Add(4, 4);
                sqlbulk.ColumnMappings.Add(5, 5);
                sqlbulk.ColumnMappings.Add(6, 6);
                sqlbulk.ColumnMappings.Add(7, 7);
                sqlbulk.ColumnMappings.Add(8, 8);
                sqlbulk.ColumnMappings.Add(9, 9);
                sqlbulk.ColumnMappings.Add(10, 10);
                sqlbulk.ColumnMappings.Add(11, 11);
                sqlbulk.ColumnMappings.Add(12, 12);
                sqlbulk.ColumnMappings.Add(13, 13);
                sqlbulk.ColumnMappings.Add(14, 14);

                //导入
                sqlbulk.WriteToServer(dt);
                sqlbulk.Close();
                return true;
            }
            catch (Exception ex)
            {
                throw new Exception(ex.Message);
            }
            finally
            {
                dt.Dispose();
                cnnSql.Close();
            }
        }

------解决方案--------------------
以上代码中可以将此部分注释掉/
C# code

 sqlbulk.SqlRowsCopied +=
                new SqlRowsCopiedEventHandler(OnRowsCopied); //订阅复制完成后的方法,参数是 sqlbulk.NotifyAfter的值
                sqlbulk.NotifyAfter = dt.Rows.Count;

------解决方案--------------------
C# code

将oledb读取的excel数据快速插入的sqlserver中,很多人通过循环来拼接sql,这样做不但容易出错而且效率低下,最好的办法是使用bcp,也就是System.Data.SqlClient.SqlBulkCopy 类来实现。不但速度快,而且代码简单,下面测试代码导入一个6万多条数据的sheet,包括读取(全部读取比较慢)在我的开发环境中只需要10秒左右,而真正的导入过程只需要4.5秒。

 

using System;
using System.Data;
using System.Windows.Forms;
using System.Data.OleDb;
namespace WindowsApplication2
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            //测试,将excel中的sheet1导入到sqlserver中
            string connString = "server=localhost;uid=sa;pwd=sqlgis;database=master";
            System.Windows.Forms.OpenFileDialog fd = new OpenFileDialog();
            if (fd.ShowDialog() == DialogResult.OK)
            {