在SQL之间将数据转换同步到HBase

如何解决在SQL之间将数据转换同步到HBase

|| 我们正在彻底从Microsoft和.NET系列转移到开放源代码，以全面改进我们的产品（原因之一是成本降低和数据呈指数级增长）。 我们计划将数据模型从SQL Server（关系数据）完全迁移到Hadoop（著名的键-值对生态系统）。 一开始，我们要同时支持两个版本（例如1.0和新的v2.0）。为了保持数据的一致性，我们计划在两个系统之间同步数据，这是一项颇具挑战性的任务，容易出错，但是我们没有其他选择。 从哪里开始有点困惑，我正在寻找专家社区。 对此方向的任何策略/现有文献或任何其他类型的指导都将非常有帮助。     

解决方法

        我不完全确定代码的结构，但是如果您当前具有数据或持久层，或者至少具有执行所有SQL的数据库访问类，则可以覆盖保存功能以将更改写入两个数据库。如果您没有数据层，则可能要考虑在开始过渡之前写一个数据层。 否则，您可以在MSSQL中添加触发器以更新Hadoop，不确定是否可以在Hadoop中执行以保持MSSQL同步。 或者，您可能有一个每x分钟运行一次的进程，该进程手动同步两个数据库。 就个人而言，我将尽量避免维护两个记录数据库。将更改从新的实验性数据库迁移到稳定的数据库似乎有风险。您有可能破坏稳定的系统。相反，我将编写一个转换器将数据从关系数据库移动到Hadoop。然后每天晚上左右，将您的数据复制到Hadoop中，并将其用于开发和测试新系统。我认为测试用户会理解您是否说Beta版本只是一个测试场所，并且不会影响您的实时产品。如果您打算对UI进行重大更改，并且担心有些用户不希望过渡到2.0，那么您可能会尝试立即解决太多问题。 这些是我想出的解决方案...祝您好运！     ,        考虑使用Flume之类的排队工具（http://www.cloudera.com/blog/2010/07/whats-new-in-cdh3b2-flume/）在两个系统之间分配输入。