Dynamodb线程安全更新

如何解决Dynamodb线程安全更新

Lambda函数由SQS消息触发。保留的并发设置为最大值，这意味着我可以并发执行Lambda。每个Lambda都将读取SQS消息，并需要更新一个Dynamodb表，该表包含消息长度的总和。它是一个增加的数值。 尽管我已经实现了乐观锁定，但是我仍然看到最终值与实际的正确求和不匹配。有什么想法吗？

这是执行更新的代码：

<template>
    <v-data-table :headers="headers"
                  :items="posts"
                  :items-per-page="5"
                  hide-default-header
                  item-key="post_id"
                  class="elevation-1 browseTable"
                  :footer-props="{
      showFirstLastPage: true,firstIcon: 'mdi-arrow-collapse-left',lastIcon: 'mdi-arrow-collapse-right',prevIcon: 'mdi-minus',nextIcon: 'mdi-plus'
    }">
        <template #item.full_post="{ item }">
            <p>{{ item.title }}</p>
            <p>{{item.body }}</p>
        </template>
    </v-data-table>
</template>

解决方法

在此处最好使用DynamoDB流，并进行批量写入。否则，您将不可避免地发生事务冲突，可能坐在一些日志中的某个地方会出现很多错误。您还可以在表中看到此cloudwatch指标：TransactionConflict。

DynamoDB流

要执行聚合，您将需要有一个已启用流的表。将MaximumBatchingWindowInSeconds和BatchSize设置为适合您要求的值。也就是说，您需要能够在10秒内保持准确，将MaximumBatchingWindowInSeconds设置为不超过10。并且您可能不希望有100个以上的项目要被汇总，因此设置BatchSize=100 。您将创建一个Lambda函数，该函数将处理以下形式的数据：

"TransactItems": [{
  "Put": {
    "TableName": "protect-your-table","Item": {
      "id": "123","length": 4,....

然后，您将对此进行迭代并求和length属性，并对另一个表中的求和进行更新ADD语句，该表将基于流保存已计算的统计信息。请注意，您可能会收到重复的消息，这可能会导致您出错。您可以在Dynamo中处理此问题，方法是确保不编写任何已存在的项目，或者使用message deduplication id。

批处理

确保您一次不会处理许多小消息，而是将它们组合在一起，在Lambda函数中说，该函数以SQS形式读取，它一次最多可以读取100条消息并进行批量写入。还要为此设置一个低并发限制，以便邮件可以在几秒钟内增加一些存储空间。

之所以要这样做，是因为您实际上无法每秒多次在DynamoDB中增加一个值，这会给您带来错误并实际上减慢了处理速度。您会发现整个系统的性能将是成本的一​​小部分，并且更加准确，并且实时准确性应该足够接近您的需求。