Oracle GoldenGate概述

GoldenGate 现在是业内成熟的数据容灾与复制产品，经过多年的发展和完善，现在已 经成为业内事实上的标准之一。

原文地址：http://www.jb51.cc/article/p-ftzpuccj-hh.html

1. GoldenGate的历史

GoldenGate 公司于1995年成立于美国加州旧金山，它的名称源自旧金山闻名于世的 金门大桥。两位创始人Eric Fish 和Todd Davidson最初旨在为Tandem计算机公司设计一个 容错系统，由于GoldenGate 的健壮性和出色的数据复制功能，银行用它来把AT M网络的 交易数据发送到IBM 大型机，后来广泛地应用到金融行业及要求数据复制高效、健壮的各 个行业，全球licences 数量超过4000。

该公司于2009年9 月被Oracle 公司收购，在此之前 Oracle 和GoldenGate 公司就有了 长达超过10年的合作关系。Oracle 收购GoldenGate 以后，按照Oracle 公司的一贯策略， 迅速把它和自己的数据库、中间件以及应用集成，依托 Oracle 公司研发技术的优势，并对 其做了大量的更新和改进。截止到目前为止，全球已经有五百多家大客户使用GoldenGate 作为其容灾、复制的解决方案。作为一个企业级的成熟产品，因为其快速、易用、灵活、 健壮等特性，越来越多的用户把它作为关键业务系统容灾、复制、同步的首选。随着Oracle 公司对其不断改进，这个产品会越来越稳定、成熟、可靠，同时也会有更多人去学习它， 使用它。

目前GoldenGate 的最新版本为11.1 ，为了和 Oracle 数据库、中间件产品的称谓保持一 致，Oracle 称之为11g ，目前Oracle 公司把它归到Fusion Middleware ，也就是融合中间件 产品线中。但实际上它和数据库的联系更加紧密，有经验的DBA花较短的时间就可以迅 速地掌握它。

2. GoldenGate家族

Oracle GoldenGate最为常见的家族成员包括GoldenGate、GoldenGate Director（现更 名为GoldenGate Management Pack，但是绝大部分熟悉 GoldenGate 的人还是习惯性地称其 为GoldenGate Director，为了保证上下文的一致性，这里统一称其为 GoldenGate Director）、GoldenGate Veridata。另外，也有不太常见的GoldenGate for Mainframe 和GoldenGate Adapters。

GoldenGate 产品是核心产品，GoldenGate Director为GoldenGate 提供友好的GUI 配置 管理界面，而GoldenGate Veridata为GoldenGate 源端和目标端提供数据比对和校验的功能。 注意这三者并不是一个打包的产品，比如如果您购买了 GoldenGate 软件，如果需要图 形界面或需要数据校验的功能，就需要额外购买 GoldenGate Director 或者GoldenGate Veridata。

3. GoldenGate及Oracle产品战略

在Oracle 收购GoldenGate 以后，与 Oracle 原有的 Data Guard、 ODI 互为补充，共同 为企业提供跨平台实时数据同步的解决方案。与此同时，又可以与Oracle Real Application Cluster 、Data Guard 一起为用户提供丰富、灵活的容灾方案及高可用特性，这既是Oracle 公司当前也是其未来的产品发展策略与方向。

另外有的人可能注意到了Oracle 公司对其集成在数据库中的Streams的态度的一些 变化。Oracle 公司声称对其产品Streams将不再做任何重大改进，而是会把 Streams的一些 优秀特性集成到GoldenGate 产品上来，同时 Oracle 也承诺继续对现有使用Streams的客户 提供技术支持。与此同时，集成在Oracle 数据库中的另外一项逻辑复制产品——Data Guard Logical Standby 也遭受了同样的命运。Oracle 对其产品线可整合能力可见一斑。

4. GoldenGate支持的平台以及数据库

截止到笔者撰写本书为止，GoldenGate 几乎支持市面上流行的所有主流操作系统平台 和数据库。

目前经过GoldenGate 11.1 认证的主流数据库版本包括以下几种。

Oracle 8i (只支持DML)。 
Oracle 9 i 以上所有的数据库版本 ( 支持DML和DDL)。 
IBM DB2 UDB 8.1 、8.2、9.1、9.5 以上版本（只支持DML）。 
Microsoft SQL Server 2000、2005和2008（只支持DML）。 
MySQL 4.1、5.0（只支持DML）。 
Sybase ASE 12.5.4 、15.0 （只支持DML）。

5. GoldenGate的定位

1. 零宕机时间数据库升级和迁移。
2. 满足用户亚秒级实时数据的需求。
3. 可持续的数据高可用性和实时商务智能。
4. 异构平台及跨操作系统实时数据同步。
5. 对源系统和目标系统是非侵入式的。

6. GoldenGate技术架构

和传统的逻辑复制一样，Oracle GoldenGate 实现原理是通过抽取源端的redo log 或者 archive log ，然后通过TCP/IP投递到目标端，最后解析还原应用到目标端，使目标端实现 同源端数据同步。图1-1 是Oracle GoldenGate 的技术架构。

6.1 Manager进程

Manager进程是GoldenGate 的控制进程。如果把所有的 Oracle 进程比喻为军队，那么 Manager 就相当于司令。Manager 进程运行在源端和目标端上，它主要有以下几个方面的 作用：启动、监控、重启GoldenGate 的其他进程，报告错误及事件，分配数据存储空间， 发布阈值报告等。

每个源端或者目标端有且只能存在一个 Manager 进程。其运行状态有两种即 RUNNING（正在运行）和STOPPED（已经停止）。

在Windows 系统上，Manager进程是作为一个服务来启动的，而在类UNIX 系统中， Manager则是一个操作系统进程。

6.2 Extract 进程

Extract 运行在数据库源端，负责从源端数据表或者日志中捕获数据。在早期的 GoldenGate 版本中，它通常被称为Collect 进程。按照其所处的阶段不同，Extract 的作用 可以按照时间来划分。

初始数据装载阶段：在初始数据装载阶段，Extract 进程直接从源端的数据表中抽取数据。 同步变化捕获阶段：初始数据同步完成以后，Extract 进程负责捕获源端数据的变化 （DML和DDL）。

Extract 进程利用其内在的checkpoint 机制，周期性地检查并记录其读写的位置，通常 是写入到一个本地的trail 文件。这种机制是为了保证如果Extract 进程终止或者操作系统 宕机，重新启动 Extract 进程后，GoldenGate 能够恢复到以前的状态，从上一个断点处继续 往下运行，而不会有任何数据损失。

Extract 进程的状态包括STOPPED（正常停止）、STARTING （正在启动）、RUNNING （正在运行）、ABENDED （Abnomal End 的缩写，表示异常结束）。

6.3 Pump 进程

Pump 进程运行在数据库源端，其作用非常简单。如果源端使用了本地的trail 文件， 那么Pump 进程就会把trail 以数据块的形式通过TCP/IP协议发送到目标端，这通常也是推 荐的方式。Pump 进程本质是Extract 进程的一种特殊形式，如果不使用trail 文件，那么就 是Extract 进程在抽取完数据以后，直接投递到目标端。

与Pump 进程相对应的叫做Server Collector 进程，这个进程不需要引起人们的关注， 因为在实际操作过程中无需对其进行任何配置，所以对人们来说它是透明的。它运行在目 标端，其任务就是把 Extract/Pump 投递过来的数据块重新组装成trail 文件，人们称之为远 程trail 文件。

6.4 Trail文件

为了更有效、更安全地把数据库事务信息从源端投递到目标端，GoldenGate 引进trail 文件的概念。前面提到Extract 抽取完数据以后GoldenGate 会将抽取的事务信息转化为一 种GoldenGate 专有格式的文件，然后Pump 负责把源端的trail 文件投递到目标端，所以源、 目标两端都会存在这种文件，源端存放的trail 文件叫本地trail 文件，目标端存放的trail 文件叫远程trail 文件。trail 文件存在的目的旨在防止单点故障，将事务信息持久化，并且 使用checkpoint 机制来记录其读写位置，如果故障发生，则数据可以根据checkpoint 记录 的位置来重传。

值得一提的是，trail 文件并不总是必须的。人们可以在配置Extract 进程的时候通过 TCP/IP协议直接把日志的信息投递到目标端。但通常并不推荐这么做，因为一旦发生系统 宕机或者网络故障，则有可能造成数据的丢失。

6.5 Replicat 进程

Replicat 进程，通常也把它叫做应用进程。运行在目标端，是数据传递的最后一站， 负责读取目标端trail 文件中的内容，并将其解析为 DML或DDL语句，然后应用到目标数 据库中。

和Extract 进程一样，Replicat也有其内部的checkpoint 机制，保证进程重新启动后可 以从上次记录的位置开始恢复，而无数据损失的风险。 它的运行状态和 Extract 进程一致，包括 STOPPED、STARTING 、RUNNING 、 ABENDED 。

6.6 GGSCI

GGSCI是GoldenGate Software Command Interface的缩写，它提供了十分丰富的命令 来对GoldenGate 进行各种操作，如创建、修改、监控GoldenGate 进程等。

绝大部分的操作都是通过它来完成的。当然如果您需要GUI 方式的图形界面来管理， 则需要购买GoldenGate Director。

7. GoldenGate的复制模式

GoldenGate 的模式包括图1-2 中描述的几种，其中“一对一”是 GoldenGate 最简单的 一种模式，也是最常用的模式。

这种模式的一种典型应用就是用于数据容灾，通常源端数据库为生产端，目标端数据 库为容灾端。

另外一种应用场景是把源端的OLTP系统产生的交易日志传送到目标端，使用BI数据 仓库或者是OLAP。

8. GoldenGate应用情况

1．高可用性与容灾

• 容灾与应急备份。
• 消除计划内停机。
• 双业务中心。
• OLTP 和OLAP 分开。

2．主数据 数据库移植、升级

3．实时数据集成

• 数据仓库实时供给。
• 实时报表。
• 政府、企业垂直部门级数据同步。
• 主数据。