又是一年清明节，DBA的职责的重要性再一次被无情的体现出来！

说话的10小时，最后搞了19个小时；

首先，电力支持部门维护时提前关闭UPS（即断电），2套RAC系统直接down机，3台存储down机；

     修复过程，先启动存储，对存储硬件进行检查，发现存储控制机有一个soft diagnosis,打电话给HP support,告诉我们先开盘柜，运行稳定后，再开控制机，问题解决，RAC开启后自动recover解决；

开机后，HP DL 785 G6，Node1,scsi网卡启动hang住，断电重启该节点硬件，问题解决；

开机后，HP DL 980 G7，320GB内存告警，更换内存后，问题解决！

所有DB主机开启后，检查TNS，DB监控软件等。