日期:2014-05-16  浏览次数:20830 次

如何扩展Linux的ip_conntrack
Linux中有一个基于Netfilter的连接跟踪机制,即ip_conntrack,每一个conntrack表示的就是一个流,该流里面保存了大量的信息字段,这些字段本地有效,指导着数据包的转发策略,但是我觉得这些字段信息还不够详细,试想,一个nfmark字段好像就可以做到一切了,但是我如果想为一个数据流绑定一个字符串怎么办呢?也许你会说使用iptables+ipset+nfmark可以完成一切,这也是UNIX/Linux哲学的风格,一种后现代主义的风格,但是最近我上了不归路,非要在ip_conntrack里面扩充一个字段,为我们产品加入一个基于用户名字符串的访问控制和审计功能,于是我有了以下看似可以的方案,顺便鄙视一下纸上谈兵的人:
1.完全学ipmark的样子,在sk_buff和nf_conn里面均加一个mark字段,分别代表数据包的mark和数据流的mark
作罢的原因:
需要重新编译内核,而我不希望为了一个小小的功能重新编译内核,背后的思想是我比较崇尚热插拔。
2.不动sk_buff,只在nf_conn里面加一个字段,skb仅仅作为一个中转,在iptables的target通过skb找到nf_conn,设置nf_conn的info字段
作罢的原因:
Linux严格控制内核模块的版本,模块依赖的头文件一点都不能动,如果我改变了net/netfilter/nf_conntrack.h,那么新编译的所有的依赖nf_conntrack.ko的模块中的符号CRC码都会变化从而无法通过内核的验证,我不得不学Netfilter的一个项目xtables-addons中compat-xtables的样子,把所有的会改变CRC码的导出函数全部再重新实现一遍,然而,天啊,我起初的想法太天真了,没完美了的循环依赖,以至于我想骂两句:
第一:
ip_conntrack为何不让人扩展?虽然它有一个extend机制,但是MD简直就是自说自话,全部都是预定义好的,就下面的枚举里面的几类:
enum nf_ct_ext_id
{
    NF_CT_EXT_HELPER,
    NF_CT_EXT_NAT,
    NF_CT_EXT_ACCT,
    NF_CT_EXT_ECACHE,
    NF_CT_EXT_NUM,
};

你加一个新的类型,就会改变内核头文件,既然不让扩展,为何还叫extend呢?你干脆直接放进nf_conn就可以了,搞成extend感觉上好像多么的模块化,多么的可插拔,实际上你能扩展的东西只能是逻辑,而不能是数据结构!

第二:

Linux为何把extend写的那么死呢?当我突然感到这是合理的时候,我就三缄其口了,后面我会说到,数据结构需要可以自解释,即自己解释自己。虽然人可以看到一个结构体马上说出它的含义,但是程序却很难将一堆数据对应到一个结构体!自解释,如果不知道自解释,那就说明你根本就TM就不懂计算机!虽然你可能很精通编程...

思路

既然不能扩展nf_conn的extend,也不能在nf_conn本身加新的字段,那么只能重新编译内核了,在重新编译内核的时候,加入且仅仅加入一个extend类型,作为一个中间层,在这个extend中实现一个可插拔的注册机制,以后再想加入新的扩展就可以直接在这个extend的机制上进行了。然而,我还是不想编译内核,这是一个思想!我希望做最小的改动。万事都难不倒偏执的人,我采用了一个常规却不常用的方法,那就是默默地扩展结构体的大小,这也正是在《JAVA编程思想》里面学到的一个思想。

思想

这其实是一种OO的思想,找到一个基类,然后扩展它,在扩展继承的过程中实现你自己的逻辑,我扩展的是内核的nf_conn_counter结构体:
struct nf_conn_counter {
    u_int64_t packets;
    u_int64_t bytes;
};
我希望它成为下面的样子:
struct nf_conn_counter {
    u_int64_t packets;
    u_int64_t bytes;
    unsigned char *info;
}; 
但是我又不能改变结构体的定义,所以我采用下面等价的办法:
struct conn_info_extends_nf_conn_counter {
       struct nf_conn_counter base;
       char *info;
}
info是最关键的。我需要做的仅仅就是在为nf_conn_counter分配空间的时候为其多加一个指针的空间即可,至于这个指针指向什么,自有调用者解释。在我的需求中,它可能就是一个字符串,存在info信息。acct_extend原始定义为(之所以选择对acct开刀,是因为它足够简单,在字面上里面,其表示统计信息,加入一个info也无可厚非):
static struct nf_ct_ext_type acct_extend __read_mostly = {
    .len    = sizeof(struct nf_conn_counter[IP_CT_DIR_MAX]),
    .align    = __alignof__(struct nf_conn_counter[IP_CT_DIR_MAX]),
    .id    = NF_CT_EXT_ACCT,
};

将其修改为:
struct info_compat {
        struct nf_conn_counter nc[IP_CT_DIR_MAX];
        unsigned char * info;
};

static struct nf_ct_ext_type acct_extend __read_mostly = {
        .len    = sizeof(struct info_compat),
        .align  = __alignof__(struct info_compat),
        .id     = NF_CT_EXT_ACCT,
};

到此为止,我没有修改任何内核头文件,接下来我来写一个测试模块来进行测试:
#include <linux/ip.h>
#include <linux/module.h>
#include <linux/skbuff.h>
#include <linux/version.h>
#include <net/netfilter/nf_conntrack.h>
#include <net/netfilter/nf_conntrack_acct.h>


MODULE_AUTHOR("xtt");
MODULE_DESCRIPTION("gll");
MODULE_LICENSE("GPL");
MODULE_ALIAS("XTT and GLL");

st