AWS Athena-如何处理巨大的结果文件

如何解决AWS Athena-如何处理巨大的结果文件

寻找一种处理〜4Gb文件的方法，这是Athena查询的结果，我想知道：

• 是否可以通过某种方式将Athena的查询结果文件分成小块？据我了解-从雅典娜那边不可能。另外，似乎无法用Lambda进行拆分-该文件太大，看起来s3.open(input_file,'r')在Lambda中不起作用：（

• 还有其他一些AWS服务可以解决此问题吗？我想将此CSV文件拆分为小文件（大约3-4 Mb），以将其发送到外部源（POST请求）

解决方法

您可以在Athena中使用CTAS的选项，并使用内置的分区功能。

使用Athena的常见方法是将原始数据ETL转换为更优化和更丰富的格式。您可以将运行的每个SELECT查询转换为CREATE TABLE ... AS SELECT（CTAS）语句，该语句将根据所需的转换逻辑和输出格式将原始数据转换为S3中的一组新文件。

通常建议以压缩格式（例如Parquet）创建新创建的表，但是，您也可以将其定义为CSV（“ TEXTFILE”）。

最后，建议将大表划分为有意义的分区，以降低查询数据的成本，尤其是在由扫描数据收费的雅典娜中。有意义的分区基于您的用例和您想要拆分数据的方式。最常见的方法是使用时间分区，例如每年，每月，每周或每天。使用您想要拆分文件的逻辑作为新创建表的分区键。

CREATE TABLE random_table_name 
WITH (
     format = 'TEXTFILE',external_location = 's3://bucket/folder/',partitioned_by = ARRAY['year','month']) 
AS SELECT ...

当您转到s3://bucket/folder/时，将有一长串基于所选分区的文件夹和文件。

请注意，根据每个分区中的数据量，文件的大小可能会有所不同。如果这是一个问题，或者您没有任何有意义的分区逻辑，则可以向数据中添加一个随机列并对其进行分区：

substr(to_base64(sha256(some_column_in_your_data)),1,1) as partition_char

或者您可以使用存储桶并提供所需的存储桶数：

WITH (
   format = 'TEXTFILE',bucketed_by = ARRAY['column_with_high_cardinality'],bucket_count = 100
) 

,

您将无法使用Lambda做到这一点，因为您的内存已用完约3GB，文件系统存储已用完了512 MB。

您是否尝试过仅在文件系统上运行split命令（如果您使用的是基于Unix的操作系统）？

如果该作业重复发生并且需要自动化，并且您仍然希望保持“无服务器”状态，则可以创建一个包含执行该任务的脚本的Docker映像，然后通过Fargate任务运行它。

关于如何使用split的特定信息，这个其他堆栈溢出问题可能会有所帮助： How to split CSV files as per number of rows specified?

,

您可以使用Range选项向S3请求文件的范围。这是一个字节范围（含），例如bytes=0-1000，以获取前1000个字节。

如果要在同一Lambda调用中处理整个文件，则可以请求一个范围，该范围与您认为适合内存的范围有关，进行处理，然后请求下一个。当您看到最后一个换行符时，请请求下一个块，并将部分行放在下一个块之前。只要您确保前面的数据块已被垃圾回收并且不聚合庞大的数据结构，就可以了。

您还可以并行运行多个调用，每个调用都处理自己的块。您可以通过一次调用检查文件大小，然后根据需要多次调用处理函数，以确保每个文件都获得可以处理的块。

但是，仅将文件分成相等的部分是行不通的，因为您无法知道行的结尾，因此块可能会将行分成两半。如果您知道一行的最大字节大小，则可以用该数量（在开头和结尾处）填充每个块。当您阅读一个块时，您会向前跳，直到您看到开始填充中的最后一个换行符为止，然后您会跳过结束填充中的第一个换行符之后的所有内容–显然，对第一个和最后一个块进行了特殊处理。