故障现象
某银行总行 ATM 系统承载着全国 ATM 机渠道的 7×24 的联机交易。在应用升级新版本后,数据库开始并持续出现大量"enq:HW –contention" 即高水位的竞争,继而导致交易响应时间从 20 毫秒涨至 300 毫秒, 交易出现大量阻塞,引起交易超时,影响范围较大,属于重大故障。
故障分析
永利3044浏览器数据库专家通过现场分析,发现由于应用报文长度发生较大改变,导致 Lob 字段从块内存储转到块外存储,是产生问题的根本原因。
由于该变化,应用对Lob字段的修改,已从原来的undo表空间存储前镜像变为在Lob Segment 所在表空间来存储前镜像。即 undo 机制发生了变化,lob字段的修改将会使 LobSegment 所在表空间的空间的分配和回收异常频繁,因此出现大量“enq:HW –contention”竞争,从而导致交易响应时间大幅增加。
解决方案
在短期无法修改应用程序的情况下,永利3044浏览器数据库专家基于对数据库原理的深刻理解,提出将非分区表改造为 hash 分区表这样大胆的解决方案,这样原来的核心业务表将从一个 segment 改为多个 segment, 因此 enqueue 的个数从 1 个变为多个,从而消除竞争。
核心表从非分区改造为 hash 分区可使用在线重定义技术在线进行,从而达到不停机的目的。
客户收益
在客户接受并采用了在线重定义技术对相关核心表进行 hash 分区改造后,交易响应时间从 300 毫秒恢复至 20 毫秒,ATM 相关交易恢复正常,圆满解决了这次重大故障。