日期:2014-05-16  浏览次数:20813 次

mysql性能问题

最近项目使用mysql数据库遇到了性能问题。单表400W以上数据时, 增,删,改,查 的速度都明显下降。

我们是做呼叫中心的,平均1秒钟就要处理20个呼叫,所以 最最保守的计算 1秒钟也要对单表进行20次插入操作,还有更多的查询操作,所以对性能要求略高。(有点儿跑题。。。。)

?

遇到了问题就要解决,优化!我们优化的步骤如下(过程中遇到的困难略):

1.优化索引,将所有sql语句,尤其是速度慢的都拿出来分析,一条一条的分析。(利用 EXPLAIN )要让所有查询都使用到索引。

2.优化mysql数据库本身,对my.cnf(my.ini)文件进行优化。但是个人觉得效果不是很明显(请牛人指导。)

?? my.cnf文件配置如下。(4核cpu 4G 内存)这个my.cnf 具体问题具体分析,配置起来也有很多事儿比较有讲究的。

? 所以需要逐步调试。(切忌不可大量修改后再重启mysql....有可能启动失败。)

??

[client]
port=3306
[mysql]
default-character-set=utf8

[mysqld]
port=3306
basedir="D:/Program Files/MySQL/MySQL Server 5.1/"
datadir="C:/Documents and Settings/All Users/Application Data/MySQL/MySQL Server 5.1/Data/"
default-character-set=utf8
default-storage-engine=INNODB
sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"
max_connections=1000
query_cache_size=120M
table_cache=1024M
tmp_table_size=32M
thread_cache_size=64
myisam_max_sort_file_size=100G
myisam_sort_buffer_size=64M
key_buffer_size=512M

max_allowed_packet = 32M
max_heap_table_size = 32M
table_open_cache = 512M
thread_concurrency = 8
innodb_lock_wait_timeout = 50
bulk_insert_buffer_size = 64M
key_cache_block_size=2048

skip-external-locking
skip-name-resolve

read_buffer_size=8M
read_rnd_buffer_size=8M

sort_buffer_size=64M

innodb_additional_mem_pool_size=20M
innodb_flush_log_at_trx_commit=1
innodb_log_buffer_size=8M
innodb_buffer_pool_size=512M
innodb_log_file_size=24M
innodb_thread_concurrency=10

?

3.分表 分表是解决大数据量的最佳方案。

??? 我们的mysql数据库 单表400万 以上数据的时候就不符合性能要求了(我们对性能要求有点儿高)。但是我们一天产生的数据量就达到了单表200万。。总不能1天就建立一套表出来吧???那1,2年以后 数据库就会有600多套表(一套表有几十张呢,也就是上万张单表),看着都头疼呀。。。。。?

?

4.从业务上解决,实现曲线救国。(这也是我们最后采用的方法,这个方法不一定适用其他业务)

?? 我们的业务是这样,1小时对流水数据结转一次,生成统计数据。

?? 最后决定生成插入流水数据的时候分2套流水表插入(一套用来保存流水数据,另一套用来结转统计数据。)

?? 为什么要分成2套呢?

?? 为了性能,用来保存流水数据的那套表就不去对它进行操作了。(起到备份数据之用。)

?? 用来结转成统计数据的那套流水表,在结转结束之后就会删除掉以结转的数据。

?? 这样一来,结转用的那套流水表的数据量就不会持续增长,也就保证了数据结转的效率。

?? 希望对其他人 有点儿小启示。。。。。。

?? 请大家不要笑我。。我的mysql 是盗版的。。。没有mysql DBA给我调优。更没有人会给我订制我们专用的mysql

?? 只能这样曲线救国的解决了。。。。

??

?? ??

???