日期:2014-05-16 浏览次数:20742 次
最近看到一篇文章介绍说用内存做MySQL的tmpdir能解决MySQL在使用磁盘临时表性能低的棘手问题,作者建议用tmpfs(常见的还有ramfs)。首先我觉觉得这个想法不错,但是局限性比较大,因为线上总会有些操作需要创建很大的临时表(虽然这样的次数可能不多),如果做一个很大内存的tmpfs那么显然浪费内存,如果做一个较小内存的tmpfs那么对于需要建大临时表的的操作会因为磁盘空间不够失败(比如alter table, insert into select 等等),比如如下错误:
mysql> insert into test select null, b+1, c, d+2 from test;
ERROR 126 (HY000): Incorrect key file for table '/home/ddb/zbs/ramdisk/tmpdir/#sql_6722_0.MYI'; try to repair it
所以实际环境中最好还是多对表结构、SQL query做优化尽量避免这些需要建临时表的操作,另外也可根据实际情况来调整这两个参数:tmp_table_size,max_heap_table_size,具体使用方法查查官方手册。
接下来说今天的重点Linux下tmpfs与ramfs的异同。
ramfs是Linux下一种基于RAM做存储的文件系统。在使用过程中你就可以把ramfs理解为在普通的HDD上建立了一个文件系统,而现在HDD被替换成了RAM,因为是RAM做存储所以会有很高的存储效率。由于ramfs的实现就相当于把RAM作为最后一层的存储,所以在ramfs中不会使用swap。你什么时候听过会把HDD上的文件swap到哪里去吗?平常说的swap都是针对内存来说的,而ramfs底层的存储是RAM,虽然不是HDD,但是在Linux看来它就跟HDD一样。但是ramfs有一个很大的缺陷就是它会吃光系统所有的内存,即使你mount的时候指定了大小,同时它也只能被root用户访问。测试方法很简单:
sudo mount -t ramfs -o size=10M ramfs ./ramfs/
sudo dd if=/dev/zero of=./ramfs/test.file bs=1M count=20
测试时你会发现上面这个操作是能成功的,或者你再自己虚拟机上干脆做狠点,直接写一个比内存更大的文件,你会发现瞬间系统就卡主了。另外在dd命令如果不以root用户执行就会权限不够:
dd: opening `./ramfs/test.file': Permission denied
tmpfs也是Linux下的一个文件系统,它将所有的文件都保存在虚拟内存中,umount tmpfs后所有的数据也会丢失,tmpfs就是ramfs的衍生品。tmpfs使用了虚拟内存的机制,它会进行swap,但是它有一个相比ramfs的好处:mount时指定的size参数是起作用的,这样就能保证系统的安全,而不是像ramfs那样,一不留心因为写入数据太大吃光系统所有内存导致系统被hang住。在我文章最开始的那个例子中就是mount了一个10M大小的tmpfs,然后执行sql 命令(它需要创建的临时表大于10M),因为tmpfs限制了大小,因此也就报错。那么tmpfs适用的场景有哪些呢?在官方文档上主要有如下几点: