日期:2014-05-16  浏览次数:20750 次

mysql 如何高效批量插入记录
数据表A结构如下
varchar Guid,(唯一索引)
double n1,
double n2,
double n3,
int i1,
date d1,
A表中有记录30万条左右,每分种需批量插入数据3000条左右,每次50条左右
操作方法,若记录在A表中存在就更新,不存在就插入

1如何高效处理,引擎用MyISAM还是InnoDB(mysql 5.5)?
2在C#中如何高效批量更新list<T>中的记录?(存在就更新,不存在就插入)
有没有类似MsSql中的Sqlbulkcopy批量操作方法?

------解决方案--------------------
用LOAD DATA INIFILE,用事务
------解决方案--------------------
1如何高效处理,引擎用MyISAM还是InnoDB(mysql 5.5)?
高效很难讲,毕竟要看功能。MYISAM与INNODB功能上并不相同。 比如MYISAM不支持事务。 仅从速度上来看MYISAM要快。

2在C#中如何高效批量更新list<T>中的记录?(存在就更新,不存在就插入)
一般仍然是循环处理每条List,插入记录。 你可以直接利用MYSQL特有的SQL语句 replace 或者 insert into .. on duplicate update ..

有没有类似MsSql中的Sqlbulkcopy批量操作方法?
没有。如果是记录已经存在于数据文件,则可以使用MYSQL load data infile 来处理。
------解决方案--------------------
若记录在A表中存在就更新,不存在就插入

REPLACE的运行与INSERT很相像。只有一点除外,如果表中的一个旧记录与一个用于PRIMARY KEY或一个UNIQUE索引的新记录具有相同的值,则在新记录被插入之前,旧记录被删除。请参见13.2.4节,“INSERT语法”。


------解决方案--------------------
1如何高效处理,引擎用MyISAM还是InnoDB(mysql 5.5)?
innodb 因为用的行锁 而不是表锁