日期:2014-05-16  浏览次数:20866 次

MySQL源码分析(1):主要模块及数据流

经过多年的发展,mysql的主要模块已经稳定,基本不会有大的修改。本文将对MySQL的整体架构及重要目录进行讲述。
源码结构(MySQL-5.5.0-m2)
BUILD: 内含在各个平台、各种编译器下进行编译的脚本。如compile-pentium-debug表示在pentium架构上进行编译的脚本。
Client: 客户端工具,如mysql, mysqladmin之类。
Cmd-line-utils: readline, libedit工具。
Config: 给aclocal使用的配置文件。
Dbug: 提供一些调试用的宏定义。
Extra: 提供innochecksum,resolveip等额外的小工具。
Include: 包含的头文件
Libmysql: 库文件,生产libmysqlclient.so。
Libmysql_r: 线程安全的库文件,生成libmysqlclient_r.so。
Libservices: 5.5.0中新加的目录,实现了打印功能。
Man: 手册页。
Mysql-test: mysqld的测试工具一套。
Mysys: 为跨平台计,MySQL自己实现了一套常用的数据结构和算法,如string, hash等。
Netware: 在netware平台上进行编译时需要的工具和库。
Plugin: mysql以插件形式实现的部分功能。
Pstack: 异步栈追踪工具。
Regex: 正则表达式工具。
Scripts: 提供脚本工具,如mysql_install_db等
Sql: mysql主要代码,将会生成mysqld文件。
Sql-bench: 一些评测代码。
Sql-common: 存放部分服务器端和客户端都会用到的代码。
Storage: 存储引擎所在目录,如myisam, innodb, ndb等。
Strings: string库。
Support-files: my.cnf示例配置文件。
Tests: 测试文件所在目录。
Unittest: 单元测试。
Vio: virtual io系统,是对network io的封装。
Win: 给windows平台提供的编译环境。
Zip: zip库工具
主要数据结构
THD 线程描述符(sql/sql_class.h)

包含处理用户请求时需要的相关数据,每个连接会有一个线程来处理,在一些高层函数中,此数据结构常被当作第一个参数传递。
NET net; // 客户连接描述符

Protocol *protocol; // 当前的协议

Protocol_text protocol_text; // 普通协议

Protocol_binary protocol_binary; // 二进制协议

HASH user_vars; //用户变量的hash值

String packet; // 网络IO时所用的缓存

String convert_buffer; // 字符集转换所用的缓存

struct sockaddr_in remote; //客户端socket地址

THR_LOCK_INFO lock_info; // 当前线程的锁信息
THR_LOCK_OWNER main_lock_id; // 在旧版的查询中使用
THR_LOCK_OWNER *lock_id; //若非main_lock_id, 指向游标的lock_id
pthread_mutex_t LOCK_thd_data; //thd的mutex锁,保护THD数据(thd->query, thd->query_length)不会被其余线程访问到。

Statement_map stmt_map; //prepared statements和stored routines 会被重复利用
int insert(THD *thd, Statement *statement); // statement的hash容器
class Statement::
LEX_STRING name; /* prepared statements的名字 */
LEX *lex; //语法树描述符
bool set_db(const char *new_db, size_t new_db_len)
void set_query(char *query_arg, uint32 query_length_arg);
{
pthread_mutex_lock(&LOCK_thd_data);
set_query_inner(query_arg, query_length_arg);
pthread_mutex_unlock(&LOCK_thd_data);
}
NET 网络连接描述符(sql/mysql_com.h)

网络连接描述符,对内部数据包进行了封装,是client和server之间的通信协议。


Vio *vio; //底层的网络I/O socket描述符

unsigned char *buff,*buff_end,*write_pos,*read_pos; //缓存相关

unsigned long remain_in_buf,length, buf_length, where_b;

unsigned long max_packet,max_packet_size; //当前值;最大值

unsigned int pkt_nr,compress_pkt_nr; //当前(未)压缩包的顺序值

my_bool compress; //是否压缩

unsigned int write_timeout, read_timeout, retry_count; //最大等待时间

unsigned int *return_status; //thd中的服务器状态

unsigned char reading_or_writing;

/*1 代表读, 2 代表写, 0代表无状态 */

unsigned int last_errno; //返回给客户端的错误号

unsigned char error;

/*0:执行成功

1:在协议层有逻辑错误

2:系统调用或标准库出错

3:特例,表示缓存不能装下当前这么大的包

*/
TABLE 数据库表描述符(sql/table.h)

数据库表描述符,分成TABLE和TABLE_SHARE两部分。
handler *file; //指向这张表在storage engine中的handler的指针

THD *in_use; /* 使用这张表的thread号 */

Field **field; /* 指向数据域的指针*/

uchar *record[2]; /* 指向记录的指针*/

uchar *write_row_record; /* 在THD::write_row中用来做优化 */

uchar *insert_values; /* INSERT ... UPDATE语句用 */

/*

可用来直接获取表中数据而不用读取行的当前key的映射值

*/

key_map covering_keys;

key_map quick_keys, merge_keys;

key_map keys_in_use_for_query;

/* 可用以生成GROUP BY结果的key映射值 */

key_map keys_in_use_for_group_by;

/* 可用以生成ORDER BY 结果的key映射值 */

key_map keys_in_use_for_order_by;

KEY *key_info; /* 数据库中key的信息*/

HASH name_hash; //数据域名字的hash值
MEM_ROOT mem_root; //内存块
LEX_STRING db;
LEX_STRING table_name;
LEX_STRING table_cache_key;
enum db_type db_type //当前表的storage engine类型
enum row_type row_type //当前记录是定长还是变