如何在文件结构中流式传输包含其他压缩对象的tar目录/文件夹？

如何解决如何在文件结构中流式传输包含其他压缩对象的tar目录/文件夹？

我们正在尝试从internet archive流式推特历史数据。我们正计划使用我们熟悉的smart-open。但是，tar文件的文件结构与智能打开通常期望的不同，即：

twitter_stream_2020_06_01.tar
  |
  +-06/
    |
    +-01/
      |
      +-10/
         |
         +-29.json.bz2
         +-30.json.bz2
         +-...

你们将如何流传输此数据？这是我尝试直接流式传输时得到的：

>>> from smart_open import open
>>> with open('https://archive.org/download/archiveteam-twitter-stream-2020-06/twitter_stream_2020_06_01.tar','rb') as f:
...     for x in f:
...             print(x)
...             break # So we only get the first 'line'
...
b'06/01/\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x000000700\x000001751\x000001751\x0000000000000\x0013665356325\x00006451\x00 5\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00ustar  \x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x0006/01/19/\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x000000700\x000001751\x000001751\x0000000000000\x0013665605451\x00006677\x00 5\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00ustar  \x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x0006/01/19/31.json.bz2\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x000000600\x000001751\x000001751\x0000010041216\x0013665401444\x00010514\x00 0\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00ustar  \x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00BZh91AY&SY\xf7\x89O\xa1\x06\xd2\xdd\xff\x80v\x12\x86\x01\x7f\xff\xff\xfa\xff\xff\xff\xff\xbf\xff\xff\xffa\xdf?}\xf2\xe0x\x05\x9bP\x07\xd1\xd1\xf4\x00\x0e\x8a\x00\x01\xed\xee\x01s(\xad\xb3l\xdb\x15\xa6\x80\x00\x06mZQ\x92Z\x1akG\xb0`4P\x1e\xe3-\x80\x005\xe3\xe3\xb5j\x8e\x008<0\x1eF\x0f\x0e\x00\x00\x02\x80P\x00\x00\x00\x00\x00>j\xda\x00\x00\x00\x00\x00\x00\x00o\x9epwM|\x07\xbd\xbd`\xc2\\\xf71P\x1fk\xd3\x80\x00\xeb\xd4\xf3\xdc\x1b\xa1\xdcG\x8c\xdc\x13\x07n\x00.{\xd5\xa8\xbe\x02\x80;\xcf\x9b\x8e\x80\x9b\xcf\x83i_n{\xaew;\x98\xf3\xde\x8d\xaa\xa6\xcf9\xaa\xba\x99\x9a\x9ab\x98\xee\xe9\xcbj\x84;\xbb6\xee\xba\xee\x97r\xb8\xd6\xe7\xc5\xd5}\xf0|\x1d\x1dW\xdf^\xf4\xfb\xaf\xbbP")n\xee\xbe\x95O{=\xdeu\xc0|\x00\x00\x00{\x93\xbd\xa3\xad\xf7\xbd\xea\xbdf.\x9c\xdb\xba`\xca\xafn\x8e\x9b\xbd\xc0{\xb6\x9dg\x9do,\xfa\xf8!\xe4\xf9\xc0\x05\xd9\xf7\x8a\x92{q\xcbZ\x147\xb0s\xde\xe7R\'\xb3\x15\xecz\xdc\x92\x8d\xd5\xb0\x92\x86\xd6-\xb6r\xf3g}}\xe4\xfb\xef{\x95x)6\xf2{QU`\xcd\xbe\xba.\xd8%\x9b\x08\xdfs\xa9m\x88\xaa]\xb6\xfb\xba\x0b\xb1\x9a\xf3\xc6\xfb\xbc|\x9e|\xf7\xb6a\xd6\x8d\xb3z\xee\xb6\xd3\xbbRD\xd9\xd1\xca\x85(\x1ae\xb6\x9d\xb0+n\x8e\x15)\xae\xdd\xe5\xf7{g\xc5\xda}\xce\x05\x1f^\x98\x95A\xdb+\xb7]\xd9\x9c\xd9:\xd2;\r\xce\xdbw\x15J\x1bQK\x8c\xe2\x8d\xdd\xe5\xf3\xdf>\xfb\xef[s\xc6\xd9@}\xd9\xf1J\xac\x99\xb3\x11\xb3%\xafww]u\xbd\xde\xf7\xad\xb0\xdd\xce\xad4\x1a\xf6\xc7\x08\xf5\xdd\x8a\xae\xf8\xb7\xb7\xaa\xcey\xdeOf\x9e\xebT*\xa6\xed\xc15\xb4\xee\xd3m\x02\xb7w(\x90\xbb\x18\xb4\xdd\xec\xd7^\xba\xe4\xdew\x9fz\xf9\xaf{\xef<((w\xdf\r\xde\xec"\xfa\xeb\xd7\xb6\xc0n\xcelju\xde\xde\xa1\xed\x95\x1e\xc6\xb7\xbb]-\xef=\xe7\xcf\xba\x8f|\xfa\xde\xde(=#\xb3\xd7\xbdMy\x9a\xa6F\xa9)\x10\xad\x81\xbb\x1a\x97\xb1\x94\x12\xbd\xef;}z\xfa\xbe>\x87w\xa0\x00\x01\xbe\x00\x00\x05\xf7\xdb\x95\x87)\x02\xea`\x0f\xa0\x0e\xedJ+A\xb6\n'

看到这正试图从bz2的压缩文件中读取，我们将如何开始使用它？

以下是我对可以做什么的一些想法：

• 下载整个2GB文件
• 使用某些库（也许是this一个库）在内存中运行bzip2压缩

我看到的问题是，我将不得不导航到文件路径，并且我不确定是否仅删除前几行或如何处理多个文件或其他内容是否可以工作

处理此类流问题的最佳方法是什么？谢谢！