用于生成存储资源的Firebase Cloud Express队列

如何解决用于生成存储资源的Firebase Cloud Express队列

我有一个存储在Firestore集合中的大型数据集和一个Nodejs Express应用程序（公开为firebase函数。https.onRequest），其端点允许用户查询此数据集并下载大量数据。

我需要从端点以CSV格式返回数据。因为有很多数据，所以我想避免每次碰到端点时都要进行大的数据库读取。

我当前的端点执行此操作

1. 用户通过数据库查询命中端点，请求范围内的文档
2. 查询被散列到文件名中。例如query_“ startRange” _“ endRange” .csv
3. 检查Firebase存储以查看此查询之前是否已运行

如果csv已经存在：

1. 使用签名网址返回302重定向到csv文件

如果csv不存在：

1. 在Firestore集合上运行查询
2. 将数据转换为适当的CSV格式
3. 将新的CSV上传到Firebase存储
4. 将302重定向返回到带有签名网址的新生成的csv文件

此过程目前运行良好，但我已经可以预见到一个问题。大型查询的CSV生成阶段大约需要20秒钟的时间，而且很有可能同时从多个用户处发出相同的请求。

我想构建某种排队系统，以便如果X数量的用户一次命中端点，则只有第一个请求触发新CSV的生成，而其他（X-1）个请求将被排队，并且然后在生成CSV后解决。

我目前正在研究firebase-queue，它似乎已过时，不打算与Cloud函数一起使用。 我还看过其他p-queue之类的库，但是不确定我是否了解Firebase Cloud函数将如何使用它们以及如何为许多请求启动单独的实例。

解决方法

我认为在您的方案中，队列方法对于Cloud Functions不太适用。队列无法在一个函数中实现，因为多个实例彼此都不了解，因此该队列将需要在某种专用服务器中实现，这使IMO不能兼顾使用Cloud Functions作为队列和处理的目的可以在同一服务器上运行。

我建议在Firestore中有一个集合来跟踪已请求的查询。这样，即使CSV文件仍未保存在存储设备上，您也可以检查某个函数实例是否已在创建它，然后可以使函数休眠，直到操作完成并返回签名的url。总体而言，该算法可能看起来像这样：

# Python PseudoCode
if csv_in_storage():
   return signed_url()

if query_in_firestore():
   while True:
      sleep(X)
      if csv_in_storage():
         return signed_url()

try:
   add_query_firestore()
   csv = create_csv()
   upload_csv(csv)
   return signed_url()
except Exception:
   while True:
      sleep(X)
      if csv_in_storage():
         return signed_url()

存在最终的try / catch，因为如果两个函数同时尝试将同一文档写入Firestore，则add_query_firestore操作可能最终失败。尽管如此，这也是个好消息，因为您知道CSV的创建正在进行中，可以等待它完成。

请记住，上面的伪代码只是为了说明这一点，将while True保留为原样可能会导致无限循环和函数超时，这很糟糕：）。

,

我最终使用类似于Happy-Monad的解决方案解决了这个问题。我使用的是nodejs admin SDK，但想法很相似。

Firestore中有一个集合，用于跟踪已执行的查询Queries。当用户点击端点时，我将调用admin doc("Queries/<queryId>").create()方法。此方法只会在尚不存在查询文档的情况下创建查询文档，因此，如果我要首先检查现有查询，则能够避免并行请求之间的竞争条件。

接下来，请求将启动一个onSnapshot侦听器，以尝试创建该查询。该查询具有一个status开头的created字段。 onSnapshot仅会在状态更改为complete时解决。

我有onCreate个数据库触发器正在监听“查询/ *”。该数据库触发器处理请求的查询，并将查询状态更新为complete。如果查询已经存在，则状态已经处于complete状态，因此onSnapshot会立即解决。