日期:2014-05-16  浏览次数:20627 次

在Windows Azure上配置VM主备切换(1)——Linux篇

对任何一个上线系统来说,高可用设计是不可或缺的一个环节,这样才可以确保应用可以持续、稳定的运行,而不是频繁的掉线、停机。高可用设计的核心思路很简单,就是消除一切单点故障,将单点链路或者节点升级为多点。比如,对于Web类型的应用,可以利用Web集群和负载均衡器实现多活,而对于数据库、文件服务这类服务,一般较难配置为多活,于是常采用主备切换的方式,即备机上的服务处于离线状态,当主机故障时,备机升级为主机,继续提供服务。


要实现主备切换,需要在几个层面做好准备:

  • 数据的转移:将主节点的数据实时复制到备机,确保主节点死掉后备机拥有最新的数据。一般有三种实现机制:共享磁盘、磁盘层复制、应用层复制
  • 服务的转移:主节点服务死掉后,备机上的服务能立即启动。这需要一些第三方软件的支持,进行主机状态的监控,并进行自动化切换。
  • 端点的转移:主备切换发生后,服务运行的位置发生了变化。为了让客户端能够继续连接服务,需要为客户端提供透明的访问机制,常用的做法有:IP地址漂移、动态路由

以Linux上的Mysql为例,其通常的配置方式如下:

  • 数据转移:磁盘级复制一般采用DRBD,应用层复制采用Replication。由于磁盘级复制性能更高,一般Mysql采用磁盘级复制进行主备复制,采用Replication进行主从复制(从数据库处理读请求)
  • 服务的转移:一般采用heartbeat
  • 端点的转移:一般采用VIP漂移,也是利用heartbeat实现

其中heartbeat是一个自动化软件,能够自动检测服务状态,在故障时进行服务和IP的切换。DRBD+heartbeat方案需要两台Mysql服务器,一主一备,各有一个IP地址,主机还有额外一个VIP,作为客户端连接地址,两台服务器无需共享磁盘,DRBD实时复制所有的磁盘数据到备机。MySQL服务只在主机上运行。heartbeat检测主机上Mysql服务的状态,如果Mysql死掉,则heartbeat会将主机上的所有服务停止(包括DRBD复制),释放VIP,然后将备机提升为主机,启动原备机上的MySQL,进行备机上的DRBD反向复制,最后在新的主机上启用VIP。整个切换过程都是自动化的,对用户也是透明的,而且可以支持自动的回切,无需人工干预。客户端在切换过程中会有一定时间的中断。示意图如下



在Windows Azure上,要配置这种主备集群,会有一个困难,就是无法配置VIP。Azure上所有的IP地址都是系统管理的,用户无法自行管理IP地址,而且每个VM只有一个网卡,一个IP。为了配置主备切换,我们可以采用几种方法。

第一种方法,是利用Azure提供的负载均衡功能进行主备选择。集群的配置跟传统方式类似,只是在heartbeat上不需要配置VIP,也就是说,heartbeat只管理DRBD和mysql的切换,而不去管IP的切换。由于heartbeat保证同一时刻只有一个Mysql实例存活,那么两台VM的Mysql端口也只有一个开放。Azure的负载均衡器可以自动检测端口状态,它只会将请求发给活的端口,当两个VM都作为负载均衡的转发目标时,只有当前的主节点会接收请求。示意图如下:

第二种方法,是自己采用负载均衡手段,进行主节点的路由。示意图如下。该方法需要在每个客户端上配置Mysql的路由器。其好处是少了一个网络转发的层次,所有流量都可以在内网发生,坏处是配置较为复杂,在每个客户端上都要维护MySQL节点列表。Mysql路由器的选择有多种,比如用通用的负载均衡软件LVS,HAProxy等,或者用Mysql专用的Mysql Proxy


下面,我们看下采用第一种方法进行配置的实际例子。

首先,我们在Azure上建立两台Linux虚拟机,OS为CentOS 6.3。需要注意的是,建立第一台虚拟机的时候,需要建立可用性集


建立第二台虚拟机的时候,要加入第一台虚拟机的云服务,这样才能为他们配置负载均衡;同时也要加入第一个虚拟机建立的可用性集,这样Azure才会为这两台虚拟机提供SLA(Azure目前不提供单台虚拟机的SLA),这样设置的主备切换才有意义。


虚拟机建立好以后,还需要为他们各自挂载一块磁盘,作为Mysql的数据文件存储盘

挂载后的磁盘在VM里面的位置是/dev/sdc


接下来,就可以安装正常的步骤安装配置DRBD和Heartbeat了。这里有一个详细的步骤 http://www.linuxidc.com/Linux/2012-11/73833.htm

配置时,有几个地方需要注意下:

1. 安装kmod-drdb时,需要升级内核。升级时,需要用到163的yum源。原步骤里面有一步是

mv CentOS6-Base-163.repo / /etc/yum.repos.d 应该改成mv CentOS6-Base-163.repo /etc/yum.repos.d,另外,需要将/etc/yum.repos.d里面的CentOS-Base.repo移出该目录,否则Base库会有多个源。

2. 执行yum操作时,有时会遇到找不到更新包的情况。在Azure的CentOS里面屏蔽了核心包的安装,为了安装核心包,可以在yum命令后加上--disableexcludes=main参数,或者修改/etc/yum.conf,将exclude=kernel*去掉。另外,也可以试试yum clean metadata清楚本地包缓存

3. 升级完内核后需重启

4. 不需要配置hosts文件,Azure可以直接解析主机名为内网地址

5. drbd.conf配置文件里面,disk地址改为/dev/sdc

6. drbd测试好后,分别在主备机上安装mysql,配置my.conf将datadir指向/drbd/mysql。暂时不要启动mysql服务,也不要加入自启动

7. heartbeat配置haresources时,不要管理IP地址,即去掉IPaddr::192.168.159.250/24/eth0。另外,最后面的nginx改为mysqld

8. 如果heartbeat无法启动,报drbd模块无法加载的错误,可手动执行modprobe drbd 及 drbdadm up all命令

DRBD+heartbeat+mysql配置完成后,可以进行测试,可以看看mysql是不是可以自动切换


最后,开始配置Azure负载均衡。进入虚拟机1的端点页,点击页面底部的添加



在对话框中选择“添加独立终结点”。在第二步中输入mysql。注意要选中页面底部的“创建负载平衡集”

在第三步中,设置端口检测的参数。

创建完成后,进入第二台虚拟机的端口配置页面,添加端口,然后