SSIS-将重复的列设置为null

如何解决SSIS-将重复的列设置为null

我有一个平面文件中的数据（客户端发送给我，无法编辑），该文件中有一些重复的电子邮件地址，我想将其设置为null。我们的软件需要一个唯一的电子邮件地址，因此，如果遇到重复的电子邮件，它将失败。我们的开发人员正在努力纠正此问题，但与此同时，我想将重复的电子邮件设置为null。这是一个示例：

Client ID |  Client Name    | Email address
 1234     |   Mike Smith    |  [e-mail]
 5678     |   Mike's Motors |  [e-mail]

因此，在上面的示例中，我希望两行都进入数据库，但是我想将其中之一而不是两者都设置为电子邮件地址为空。

解决方法

您可以使用row_number函数找出重复项并将其为空

这是一种实现方法

;

WITH mycte
AS (
    SELECT 1234 ClientID,'Mike Smith' ClientName,'[e-mail]' Emailaddress
    
    UNION ALL
    
    SELECT 5678,'Mikes Motors','[e-mail]'
    )
SELECT ClientID,ClientName,CASE 
        WHEN ROW_NUMBER() OVER (PARTITION BY Emailaddress ORDER BY Emailaddress) > 1
            THEN NULL
        ELSE Emailaddress
        END AS Emailaddress
FROM mycte

,

SSIS数据流中没有本机组件可以完成此任务。问题是，数据流引擎是一种非常快的数据处理器，但它通常只知道 this 行。不是前一个，也不是后一行-只是当前行（它同时运行许多小兵，只知道他们的行）。

Aggregate运算符和Cached查找可能可以被破解，但是您将不得不对文件进行双重处理。启动数据流将是源->聚合组件->缓存目标。您按电子邮件地址分组，然后在聚合组件中最小或最大客户端ID。当我键入时，我大脑的一个小部分说聚合和字符串字段有一个愚蠢的限制。也许只是您不能最小/最大它们，但允许分组。我假设ClientID和电子邮件地址是唯一的。如果ClientId 123同时拥有[e-mail]和[e-mail]，则此方法有效，但您将需要一种更好的机制来确定数据的生存能力。

因此，启动了灌注数据流，并且您拥有一个缓存，其中填充了唯一的电子邮件地址和您要保留其电子邮件地址的客户端ID。

在现有数据流中，我们将忽略源中的电子邮件地址。您可以取消映射它，使其永远不会进入行缓冲区（最好），或者记住我们要从查找中获取电子邮件地址。在源和目标之间添加查找转换。使用缓存连接管理器配置它，并使用我们在初始化步骤中创建/填充的CCM。表示在不匹配的情况下，忽略故障。将数据流缓冲区中的客户端ID映射到CCM中的客户端ID列。从CCM检查EmailAddress，以便它在数据流缓冲区中可用。假设我们将其称为EmailAddress_LKP

在目标位置，将EmailAddress列映射到从查找生成的值EmailAddress_LKP

另一种方法是编写一个异步脚本组件（异步是您可以访问比当前缓冲区更多的唯一方法，但要付出内存和速度的代价）。在那里，您可能会构建一个可见电子邮件地址的地图，并且如果您有匹配项，请指定输出缓冲区的列的IsNull属性为true

,

因此，我找到了“低技术含量”解决方案。我使用了多播，然后进行了排序。然后，我按电子邮件字段排序，并将其设置为删除重复记录。我取消选中了排序的传递中的所有列，但电子邮件字段和联接键除外。然后，我通过左连接将其重新连接到数据流，除了连接左侧的email字段和右侧的email字段以外的所有其他字段。