日期:2014-05-16  浏览次数:20742 次

Linux下tmpfs与ramfs的区别

        最近看到一篇文章介绍说用内存做MySQL的tmpdir能解决MySQL在使用磁盘临时表性能低的棘手问题,作者建议用tmpfs(常见的还有ramfs)。首先我觉觉得这个想法不错,但是局限性比较大,因为线上总会有些操作需要创建很大的临时表(虽然这样的次数可能不多),如果做一个很大内存的tmpfs那么显然浪费内存,如果做一个较小内存的tmpfs那么对于需要建大临时表的的操作会因为磁盘空间不够失败(比如alter table, insert into select 等等),比如如下错误:

mysql> insert into test select null, b+1, c, d+2 from test;
ERROR 126 (HY000): Incorrect key file for table '/home/ddb/zbs/ramdisk/tmpdir/#sql_6722_0.MYI'; try to repair it

所以实际环境中最好还是多对表结构、SQL query做优化尽量避免这些需要建临时表的操作,另外也可根据实际情况来调整这两个参数:tmp_table_size,max_heap_table_size,具体使用方法查查官方手册。

        接下来说今天的重点Linux下tmpfs与ramfs的异同。

        ramfs是Linux下一种基于RAM做存储的文件系统。在使用过程中你就可以把ramfs理解为在普通的HDD上建立了一个文件系统,而现在HDD被替换成了RAM,因为是RAM做存储所以会有很高的存储效率。由于ramfs的实现就相当于把RAM作为最后一层的存储,所以在ramfs中不会使用swap。你什么时候听过会把HDD上的文件swap到哪里去吗?平常说的swap都是针对内存来说的,而ramfs底层的存储是RAM,虽然不是HDD,但是在Linux看来它就跟HDD一样。但是ramfs有一个很大的缺陷就是它会吃光系统所有的内存,即使你mount的时候指定了大小,同时它也只能被root用户访问。测试方法很简单:

sudo mount -t ramfs -o size=10M ramfs ./ramfs/

sudo dd if=/dev/zero of=./ramfs/test.file bs=1M count=20

测试时你会发现上面这个操作是能成功的,或者你再自己虚拟机上干脆做狠点,直接写一个比内存更大的文件,你会发现瞬间系统就卡主了。另外在dd命令如果不以root用户执行就会权限不够:

dd: opening `./ramfs/test.file': Permission denied

        tmpfs也是Linux下的一个文件系统,它将所有的文件都保存在虚拟内存中,umount tmpfs后所有的数据也会丢失,tmpfs就是ramfs的衍生品。tmpfs使用了虚拟内存的机制,它会进行swap,但是它有一个相比ramfs的好处:mount时指定的size参数是起作用的,这样就能保证系统的安全,而不是像ramfs那样,一不留心因为写入数据太大吃光系统所有内存导致系统被hang住。在我文章最开始的那个例子中就是mount了一个10M大小的tmpfs,然后执行sql 命令(它需要创建的临时表大于10M),因为tmpfs限制了大小,因此也就报错。那么tmpfs适用的场景有哪些呢?在官方文档上主要有如下几点:

  1. kernel 内部需要用到它,而我们是无法看到的
  2. glibc 2.2以上的版本,必须有一个tmpfs被mount在/dev/shm用做POSIX shared memory
  3. 还有很多包括现在还不知道的用途
        包括我现在的公司就有一个需求,某些数据如果放在磁盘上访问压力根本扛不住,因此临时做了一个tmpfs做缓存来减缓压力,当然这不是最终的解决之道。所以总结来说ramfs与tmpfs有如下几点异同:

  1. ramfs会因为数据的写入自动增长空间,所以可能导致最后系统所有的内存耗完
  2. tmpfs可以再mount时限定大小,不会自动增长
  3. ramfs不会用swap
  4. tmpfs会使用swap
  5. 两者都是用来提升效率,但是tmpfs比ramfs的性能更好(结果是对的,原理有待进一步探究)

参考文章:
  1. http://www.kernel.org/doc/Documentation/filesystems/tmpfs.txt
  2. http://www.kernel.org/doc/Documentation/filesystems/ramfs-rootfs-initramfs.txt
  3. http://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/