是否可以在没有IAM登录的情况下将数据发布到AWS kinesis？

如何解决是否可以在没有IAM登录的情况下将数据发布到AWS kinesis？

Amazon Web Services SQS服务允许您定义一个策略，该策略允许未经身份验证的用户将简单的POST提交到队列而无需签署请求。

我想做同样的事情，但是要使用AWS Kinesis，这样我就可以从使用webhooks发布通知但无法签名请求的设备和流程中收集数据。

这可能吗？

解决方法

我仍然不认为您绝对希望对您的AWS资源没有任何保护。您可能可以在ip上使用基于资源的策略，但这被认为是不好的做法。使用API GW + Kinesis会产生大量开销的唯一原因是，如果客户端发送的请求数量过多，而这些请求都包含少量数据，那么在任何情况下都不是您想要的。但是我想您仍然会API GW，因为您可以执行节流并阻止成倍增长的成本，以及后来的DDOS攻击或只是减轻客户端代码中的错误。 API GW应该为您省钱，而不会花费更多。

更可取的是，如果您让客户每隔x分钟或y秒发送一次数据给您。但是，这可能会加重客户的负担，您可能需要产生sdk，daemon或service，他们可以利用它们来自动为他们运行他们的应用在特定端口上监听数据。一个很好的例子是X-Ray daemon AWS生产的产品，它批量将数据传输到云中。如果没有这种策略，服务的价格可能会成倍增加。反过来，这意味着您发送到API GW的请求数量可能只有其他情况的1％。

最后一点要注意的是，尽管过多地将许多消息一起批处理将反过来导致不太准确的实时分析。您需要牢记，对于给定的数据字段增加速度有一定的限制，尤其是在本质上最终一致的分布式系统上。在DynamoDB中创建聚合表时，我从痛苦中吸取了教训。我在某个项目上很快打电话给inc，这会导致很多事务错误，并且消耗的WCUs比我实际需要的还要多。因此，即使我的桌子上有更多WCUs，而且我的批次也很小。这要比我将批处理写成10到30秒的间隔要精确得多。

回复评论

目前尚不清楚事件的含义，我假设您为每个事件执行1个HTTP请求。如果一台设备正在执行1k HTTP请求，那么每秒请求数将令人印象深刻！虽然可能不可能！我相信你的话（;

API 1毫秒请求每秒

让我们说您有1k台设备，每个设备每秒处理1k个请求，每秒总计100万个，一个月中有2.628e + 6秒，这意味着每月有2.63e + 12个请求，这意味着按照其价格和最低0.90 per million的价格，您每月要花费超过200万美元。您可能是世界上API GW的最大支出者！恭喜你！

API批处理节省

除非您财大气粗，否则这是一个问题！即使成本降低100倍，价格仍然昂贵！但是可以说您每60秒发送一次数据，这意味着1k devices x 2.628e+6 sec in month / 60 req/sec。那只不过是40美元多一点而已。但这假设您可以在1个请求中汇总6万个事件，可能不可行，但这确实可以节省开支。

批量节省一般

现在有简单的方法可以经济地完成您要谈论的事情而无需分批处理。在基础结构的许多不同层中，批处理是降低成本和提高性能的有效方法。当您一次读写多个消息时，SQS会执行此操作。当您批量读写时，DynamoDB的成本要低得多，EBS吞吐量优化的卷是另一个很好的例子，因为它可以缓冲写入。即使您可以直接打Kinesis，但不进行批量处理也将花费一笔巨款！让我们计算数字：

运动力

每个分片每秒支持1k次写入，这意味着1,000个分片，即每天1.44$ x 1k，每月要超过40k！

TL; DR

除了改变设备以减少发送频率更高的请求之外，无论您如何给猫加皮，其他任何事情都无法承受。