用于处理来自多个容易出错源的数据聚合的算法

如何解决用于处理来自多个容易出错源的数据聚合的算法

| 我正在汇总来自多个不同来源的演唱会列表，但这些列表都不是完整且准确的。某些数据来自用户（例如last.fm），可能不正确。其他数据源非常准确，但可能不会包含所有事件。我可以使用事件日期和城市/州等属性来尝试匹配来自不同来源的列表。我想合理地确定这些事件是否有效。似乎最好的方法是使用尽可能多的不同来源来验证容易出错的来源上的列表。 我不确定这是什么技术术语，因为我想进一步研究。是数据挖掘吗？有没有现有的算法？我了解解决方案永远不会完全准确。     

解决方法

我相信您要查找的术语是“记录链接”-   将有关同一实体（例如，人，家庭，事件，社区，企业，医院或地理区域）的两个或多个记录汇总在一起的过程 该演示文稿（PDF）看起来像是对该领域的不错的介绍。您可能使用的一种算法是Fellegi-Holt-一种用于编辑记录的统计方法。     ,这是一种在统计信息中定位它的方法-具体而言，它使用了隐马尔可夫模型（http://en.wikipedia.org/wiki/Hidden_​​Markov_model）： 1）使用您的匹配过程来生成可能事件的清除列表。即使标记对您而言是隐藏的，也请考虑将每个事件标记为“真”或“假”。您可能会想像某些事件源会生成它们，并根据未知参数的概率将它们生成为“真”或“假”。 2）将未知参数与每个列表来源相关联。这些给出了该源将报告事件源产生的真实事件的概率，以及它将报告源产生的伪事件的概率。 3）请注意，如果可以看到\“ true \”或\“冒牌\”的标记，则可以轻松算出每个源的概率。不幸的是，您当然看不到这些隐藏的标记。 4）让我们将这些隐藏标记称为“潜在变量”，因为这样您就可以从随机开始使用http://en.wikipedia.org/wiki/Em_algorithm爬升到针对该问题的有希望的解决方案。 5）很明显，通过将事件划分为类，并提供列出参数的来源，显然可以使问题变得更加复杂，从而使它们比其他事件更可能报告某些事件。如果您的源对于某些事件极其可靠，则这可能很有用。     ,一个潜在的搜索词是“模糊逻辑”。 我会使用浮点数或双精度数来存储某些事件详细信息正确的概率（0.0 =否决... 1.0 =证实）。当您遇到源时，请相应地调整概率。不过，您还有很多要考虑的地方： 尝试识别何时多个来源相互复制并减少其影响 将更多的权重用于较新的数据或明确认可旧数据的数据（例如，假设100％可靠的网站说“音乐会X将于8月4日举行”，而一个未知博客则声称“音乐会X从8月4日起搬迁”到9th \“，您可以将举办此类音乐会的可能性保持在100％，但要列出日期和您认为合适的任何可能性……） 当心假设事物是离散的；相互矛盾的信息可能反映了多个类似事件，双重计费，同名表演者等。-您越有信心引用相同的内容，则数据可以组合得越多，就可以相互补充或抵消。 您应该能够通过使用与一组音乐会相关的数据来“回测”您不断发展的逻辑，在这些音乐会上，您已经完全了解了音乐会的实际演出或没有演出；处理事件之前各个截止日期之前发布的数据，以查看您得出的预测如何反映实际结果，进行调整和重复（也许自动） 从您拥有的站点开始抓取，然后考虑所看到的信息类型的逻辑含义，这可能是最实际的。然后可以确定需要使用模糊逻辑处理问题的哪些方面。进化的方法可能意味着重做，但是最终可能比陷入模糊的设计阶段更快。     ,数据挖掘是关于从结构化来源（例如数据库）中找到信息，或从中为您分隔字段的帖子。当您必须从自由文本中解析信息时，这里有一些文本挖掘。无论哪种情况，您都可以跟踪一个节目中有多少个数据源作为可信度度量。显示置信度度量或使用它来确定您的数据是否足够好。有很多可以玩的东西。拥有合法城市，场所和行为的列表可以帮助您确定字符串是否代表合法实体。您的列表甚至可能在数据库中，该数据库使您可以比较城市和场所的一致性。