来源:http://chaoqun.17348.com/2008/08/memcached_work_with_mysql

　这次是Fotolog的经验，传说中比Flickr更大的网站，Fotolog在21台服务器上部署了51个memcached实例，总计有254G缓存空间可用，缓存了多达175G的内容，这个数量比很多网站的数据库都要大的多，原文是A Bunch of Great Strategies for Using Memcached and MySQL Better Together，我这里还是选择性的翻译以及按照我的理解补充，感谢Todd Hoff，总能给我们一些学习的案例，从这里也能看出国外技术的开放态度，不似我们，其实就那么点小九九还藏着掖着，好了，进入正题。

一、关于memcached

　　还不知道这个？那你去面试的时候要吃亏了，赶紧去官方网站看一下http://www.danga.com/memcached/，另外google一下用法，硬盘总是太慢，把数据存在内存里面吧，如果你只有一台服务器，推荐用一下APC(Facebook在用)或者eaccelerator或者Xcache(国人开发的)，这些产品单机效果更好，如果你需要分布式的缓存方案，那么用memcached吧。

二、memcached如何与mysql并肩作战？

• 通过数据库分片来解决数据库写扩展的问题把数据库分片，部署到不同的服务器上，免得只有一个主服务器，写操作成为瓶颈以及可能有的“单点故障”，一般的数据库分片主要是按照业务来分，尽可能的拆分业务，不相干的都独立起来做成服务也好
• 前 端mysql和一堆memcached服务器来应付读的问题应用程序首先从memcached中获取数据，获取不到再从数据库中获得并保存在 memcached中，以前看过一篇文章说好的应用95％的数据从memcache的中获得，3％的数据从mysql的query cache中获得，剩下2％才去查表，对比一下你的应用，差距有多远？
• 通过mysql复制（master-slave）来解决读的问题
  首先mysql数据库通过master-slave读写分离，多个slave来应对应用程序读的操作。

三、为什么不用mysql的query cache？

　　我们都知道mysql有个query cache，可以缓存上次查询的结果，可实际上帮不上太多的忙，下面是mysql quety cache的不足：

• 只能有一个实例
  意味着你能存储内容的上限就是你服务器的可用内存，一台服务器能有多少内存？你又能存多少呢？
• 只要有写操作，mysql的query cache就失效
  只要数据库内容稍有改变，那怕改变的是其他行，mysql的query cache也会失效
• mysql的query cache只能缓存数据库数据行
  意味着其他内容都不行，比如数组，比如对象，而memcached理论上可以缓存任何内容，甚至文件^_^

四、Fotolog的缓存技术

• 非确定性缓存你不确定你要的数据缓存中有没有，你也不知道是不是过期了，于是你就试探性的问memcached，我要的什么 什么数据你那有吗？我可不要过期的数据啊，memcached告诉你说有并且给你，你就开心了，如果没有呢，你就要从数据库或者别的地方去获取了，这是 memcached典型的应用。主要应用在：

  1.复杂的数据需要多次读取，你的数据库做了分片处理，从多个数据库中获取数据并组合起来是一个非常大的开销，你大可以把这些数据取出来之后存到memcached中

  2.mysql query cache的一个好的替代方案，这样数据库其他部门改变了，只要自己没改变就没问题（注意数据库更新的问题，后面会提到）

  3.把关系或者列表缓存起来，比如某个栏目下的多篇文章列表

  4.被多个页面调用并且获取起来很慢的数据，或者是更新很慢的数据，比如文章浏览排行榜

  5.如果cache的开销超过重新获取的开销，那么不要缓存它吧

  6.标签云和自动建议(类似google sugest)

  例如：当一个用户上传一个图片，这个用户的好友页面上都要列出这张图片来，那么把它缓存起来吧。

  潜在问题：

  memcached消耗的主要是服务器内存，对CPU消耗很小，所以Fotolog把memcached部署在他们的应用服务器上（貌似我们也是这样），他们遇到了CPU搞到90％的使用率（怎么会那么高？哪出问题了吧）、内存回收（这是个大问题）等等问题。

• 状态缓存把应用服务的当前状态存在memcached中主要应用在：

  1.“昂贵”的操作，开销大的操作

  2.sessions会话，Flickr把session存在数据库中，个人感觉还是存memcached比较“便宜”些，如果memecached服务器down掉了，那么重新登录吧。

  3.记录用户在线信息(我们也是这样做的)

• 确 定性缓存对于某些特定数据库的全部内容，都缓存到memcached，有一个专门的应用服务来保障你要的数据都在memcached中，其他应用服务直接 从memcached中获取数据而不去取数据库，因为数据库已经全部保存到memcached中并保持同步。主要应用在：

  1.读取伸展，所有的读取都从memcached中获得，数据库没有负载

  2.”永不过期“(相对的)的数据，比如行政规划数据，变动很小吧

  3.经常调用的内容

  4.用户的认证信息

  5.用户的概要信息

  6.用户的参数设置

  7.用户当前常用的媒体文件列表，比如用户的图片

  8.用户登录，不走数据库，只走memcached（个人觉得这个不太好，登录信息还是需要持久化的，用类似BDB这样效果也不错）

  使用方式：

  1.多个专门的缓存池而不是一个大的缓存服务器，多个缓存池保障了高可用性，一个缓存实例挂掉了走其他的缓存实例，所有的缓存实例挂掉了，走数据库（估计数据库抗不住^_^）

  2.所有的缓存池都用程序来维护，比如数据库有更新时，程序自动把更新后的内容同步到多个缓存实例中

  3.服务器重启之后，缓存要比网站先启动，这就意味着当网站已经启动了，所有的缓存都可用

  4.读取的请求可以负载均衡到多个缓存实例中去，高性能，高可靠性

  潜在的问题：

  1.你需要足够多的内存来存储那么多的数据

  2.数据以行记录数据，而memcached以对象来存储数据，你的逻辑要把行列的数据转换成缓存对象

  3.要维护多个缓存实例非常麻烦,Fotolog用Java/Hibernate，他们自己写了个客户端来轮询

  4.管理多个缓存实例会增加应用程序的许多开销，但这些开销相对于多个缓存得到的好处来说算不了什么

• 主 动缓存数据魔法般的出现在缓存中，当数据库中有更新的时候，缓存立马填充，更新的数据被调用的可能性更高（比如一篇新文章，看的的人当然多），是非确定性 缓存的一种变形(原文是It’s non-deterministic caching with a twist.我觉得这样翻译怪怪的)。主要应用在：

  1.预填充缓存：让memcached尽可能的少调用mysql如果内容不展现的话。

  2.“预热”缓存：当你需要跨数据中心复制的时候

  使用步骤：

  1.解析数据库更新的二进制日志，发现数据库更新时对memcached也进行同样的更新

  2.执行用户自定义函数，设置触发器调用UDF更新，具体参考http://tangent.org/586/Memcached_Functions_fo