超时后以CPU友好的方式从字典中删除项目

如何解决超时后以CPU友好的方式从字典中删除项目

我有一个用例，在这种情况下，当达到一定数量的项（例如，字典中最旧的项的一半将被删除）时，或者当项保留在其中时，我需要从字典中删除项。字典说了10秒。

新项目会不断添加到字典中，而我在这里使用ConcurrentDictionary的原因是要在流式传输的同时拥有尽可能多的项目集。

我已经通过使用ConcurrentDictionary<string,(Message,DateTime)>这样的设置来实现此目的，其中我使用消息的密钥（类似于带有最多3个字段的小json）作为字典和消息的密钥，并将时间存储为元组作为字典的值。现在，我可以使用该密钥检查重复项，并具有我所处理的溢出情况（不是实际的代码，而是通过内存编写）

foreach (var item in dictionary.OrderByDescending(kvp => kvp.Value.Item2).Take(Threshold / 2))
{
    dictionary.TryRemove(kvp.Key,out var _);
    // add to output queue
}

然后我用类似的代码

检查旧项目

foreach (var kvpin dictionary)
{
    if (DateTime.UtcNow.Subtract(kvp.Value.Item2) >= TimeSpan.FromSeconds(10))
    {
        dictionary.TryRemove(distinctMessageKVP.Key,out var _)
        // do something with the removed item
    }
}

这有效。问题是，这非常占用CPU。我计划通过切换到单线程字典访问并使用字典而不是并发字典来减少CPU使用率。然后，我还计划增加阈值，因此我们不会继续转移项目和浪费时间。我还怀疑遍历所有项以从字典中删除项是一个昂贵的过程。如果是这样，我还有其他方法可以从字典中删除项目吗？我还有其他可以使用的数据结构可以帮助我解决问题吗？

编辑：现在，我们有5个任务写入ConcurrentDictionary，还有1个任务从字典中删除内容。如果是更好的设置（避免锁定），我将把5个任务写到ConcurrentQueue中，然后将1个任务写到Dictionary中（非并发），并用相同的任务填充字典。

EDIT2：我们正在查看每秒约有1000项进出字典的内容。

解决方法

这个问题似乎是使用Reactive Extensions库的诱人案例。有一个相关的问题here，其中包含以下自定义实现：

public static IObservable<T> DistinctFor<T>(this IObservable<T> src,TimeSpan validityPeriod)

但是，它不包括驱逐旧条目的要求。

TPL Dataflow是另一个可以提供所需功能的易于使用的类库。类似于BufferBlock that keeps unique items。但我看不到有任何实现。

回到您现有的代码，我可以建议进行两项主要的优化：

不要OrderByDescending的内容ConcurrentDictionary。排序是一项昂贵的操作。用foreach进行简单枚举似乎足以查找并删除超时条目。
避免频繁调用DateTime.UtcNow，这也非常昂贵。对于您而言，您实际上并不在乎输入每个条目的确切日期和时间（无论是白天还是晚上，还是星期一或周末，这都没有关系）。您只是对它的年龄感兴趣。因此，我会考虑存储由DataTime生成的TimeSpan而不是存储Stopwatch字段。 AFAIK访问属性Stopwatch.Elapsed比访问DateTime.UtcNow更有效。如果您遵循此路径，则每次阅读此属性时都应该使用lock，因为存在争论whether it is thread-safe or not。

超时后以CPU友好的方式从字典中删除项目

如何解决超时后以CPU友好的方式从字典中删除项目

解决方法

相关推荐