用于基因组学的 Python 中的嵌套结构和大数据处理Dask.Bags 与 PySpark 与替代品？

如何解决用于基因组学的 Python 中的嵌套结构和大数据处理Dask.Bags 与 PySpark 与替代品？

假设我有一个非常大的数据集，其中包括许多人的电子健康记录，每个记录都有与每个人隔离的感染数据和基因序列。

在这种情况下，我将有一个嵌套结构，如：

Person
|_ID
|_Drug Purchases
|  |_Drug
|  |_Prescription date
|_Isolated Infection
  |_Date Isolated
  |_Isolate ID
  |_Gene (array)
    |_Name
    |_Sequence
    |_Length
    |_Coverage

等等……

当我分析数据时，我想比较某些属性，其中一些属性是嵌套的，跨结构。最好的方法是什么？

这个问题可以简化为：

1. 建议使用什么包/类来创建无法一次全部加载到 RAM 的嵌套结构的多个实例？
2. 您推荐的保存此类数据结构的格式是什么，既不会产生过多的行重复，又能使每个属性都可用于分析？
3. 上传和分析大型嵌套结构的最佳 MO 是什么？

以下是我迄今为止拼凑的部分：

1. 我意识到我可能应该在分析步骤中使用熊猫，并且应该基于列上传数据，这可以使用镶木地板（但请告诉我是否有其他好的选择）。需要注意的是，为了将文件保存为镶木地板文件，我必须“取消嵌套”结构并为每个感染和每个患者中的每个基因创建一个唯一的列，这将使行数乘以 x10,000或更多，增加文件大小并减慢处理速度。

2. 我发现 dask.Bag 做了我想做的事情，因为它“扩展”了嵌套结构，使用了熊猫，并且可以保存在镶木地板中。我想知道是否还有我应该考虑的 dask.bag 替代品？

我确信我遗漏了一些东西，因为我没有发明这种分析形式，而且从多个来源收集的大多数数据集都会有一定程度的嵌套。你们在分析中使用什么？

解决方法

主要是 Pandas 不是为这种工作流程设计的。是的，您可以在列中存储列表和字典，但它们将是 Python 对象，您只能通过迭代行来处理它们，这会相对较慢；但如果您的行数不是太大，那可能没问题。在这种情况下，例如，您可以将数据存储在 CSV 或 parquet 中，其中嵌套结构是一个 JSON 字符串（可以处理列表和字典）。

然而，Parquet 可以直接存储嵌套数据。不幸的是，目前在 python 中没有读取这些数据的好方法，pyarrow 和 fastparquet 都只提供非常有限的支持（尽管箭头结构与 parquet 存储布局非常兼容）； cuDF 的阅读器现在可能更先进了。

您可能没有听说过的一个有吸引力的即将到来的可能性是 awkward-array，它专门设计用于分析这种深度嵌套的数据，具有类似 C 的性能。它支持 reading from parquet，但我相信只能通过 pyarrow 的有限支持；但是，从 JSON 加载相对高效。请试用该套餐，看看它对您的价格如何。

-编辑-

我想实际回答这个问题，是的，dask.bag 在迭代操作对象方面做得很好，并且很容易与文本文件（如 JSON）交互。如果你能把你的数据做成表格的形式，而不会让数据爆炸，那是一条不错的路；如果没有，则使用 dicts/lists 可以正常工作，但速度要慢得多。