如何解决AWS Athena-将新文件添加到S3文件夹时会发生什么
我有一个示例文件,其中将文件放在S3中。 我感到困惑的是,当我将新的CSV文件(格式相同)添加到该文件夹时会发生什么情况。
它们在查询中是否立即可用?还是您必须运行Glue或其他东西来处理它们?因此,例如,如果设置Lambda函数每小时或什至每5分钟提取一个CSV到同一S3目录,该怎么办?
Athena确实将数据加载到某个地方的某个数据库中以便执行快速执行的查询吗?
解决方法
如果您的表未分区或将文件添加到现有分区,则数据将立即可用。
但是,如果您不断添加文件,则可能需要考虑对表进行分区以优化查询性能,请参阅:
Athena本身没有任何缓存,任何查询都将命中表的S3位置。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。