背景
? ?这两天在线上运行的mysql数据库同步，过个1，2天就爆了一次内存，所以dump了一下jvm内存信息分析了下，发觉就是tablemap对象的cache是一个罪魁祸首，2G的old区，平均被4个同步任务划分掉。
?
? ?解释下，缓存tablemap的意义:
? ?a. ?insert/update/delete语句操作数据库时，在binlog中会产生两条binary log，第一条就是table map，告诉你改了的表信息。第二条才是具体的变更操作，通过一个tableId进行关联。
? ?b. ?通过tableId缓存，可以在执行insert/update/delete解析的时候能够知道具体的表信息，然后根据schema + table name去反查一次数据库，获取字段名字,主键等信息。
?
? ?一般传统意义上的理解，tableId可以说是相对不太会变化，出现ddl操作时才会发生一次变化，所以这样的cache逻辑一直运行了1年多也没出过问题。
?
分析
? ?首先查询是否出现频繁的ddl变更，不过很可悲的是，查了半天发现最近几天没有发生过ddl操作，那table_id的频繁递增到底是因为什么原因？??
? ?网上找到一篇分析了table_id实现的文章：?MySQL Binlog中TABLE ID源码分析
? ?文章中提到几点：
- mysql会缓存table def，每次在写入binlog时，直接存入table def中关联的id.?
- 比如有新的table变更时，在cache中没有，就会触发一次load table def的操作，此时就会在原先最后一次table_id基础上+1，做为新的table def的id
- table cache如果超过限制，就会清理最久没用的table def (有点类似LRU)
? ?所以如果table def cache过小，就会出现频繁的换入换出，从而导致table_id增长比较快。
? ??
? ?查询了下线上mysql的一些参数和运行数据：
? ?
1. ?查询table def cache
?
mysql> show variables like 'table%'; +------------------------+-------+ | Variable_name | Value | +------------------------+-------+ | table_definition_cache | 2048 | | table_open_cache | 2048 | +------------------------+-------+
?
?
2. ?查询当前使用的table def
?
mysql> show status like 'open%'; +--------------------------+----------+ | Variable_name | Value | +--------------------------+----------+ | Open_files | 14 | | Open_streams | 0 | | Open_table_definitions | 2048 | | Open_tables | 2048 | | Opened_files | 47198363 | | Opened_table_definitions | 1183 | | Opened_tables | 1342 | +--------------------------+----------+
?
?
所以基本上table def cache一直是处于满的状态，统计了下表，因为存在分库分表，所以一个数据库实例上的表超过了6000张。
cache 2048 , ?table 6000张，势必会出现频繁的换入换出，这也就难怪table_id频繁增长了
?
?
解决
1. ?tablemap cache策略以事务为单位进行局部cache，事务结束后清空tablemap cache，所以tableId的频繁增长不再会受到影响
2. ?表结构的cache独立出来，以schmea + table name做为cache key，总的cache数也就会<=数据库中的表的总数
?
可以做的一个优化：
1. ?针对分库分表的业务，基本上字段定义都是一样的，从内存dump的分析来看，一张表50个字段，表结构的定义大小大概为6kb，大部分都几种在column name(文本)，其实可以利用String.intern()进行共享内存，1024张的分表可以只用一份表结构定义，内存可以从6MB -> ?6KB.?
?
针对table_id增长的问题，这里还有一个其他风险：淘宝物流MySQL slave数据丢失详细原因
?
