如何解决雪花数据库存储层中的“云存储”是什么意思?
我只是对多个论坛上关于雪花数据库存储的解释感到困惑。当他们说数据以列和优化文件的形式存储在云存储中时,是指 S3 存储桶还是 azure blob 存储? Snowflake 是存储数据还是使用云主机存储?
解决方法
根据论文 The Snowflake Elastic Data Warehouse (2016) - 参见段落 3.1 数据存储:
Snowflake 最初选择了 Amazon S3 来存储表数据、查询 结果和查询运算符生成的临时数据(例如海量 joins) 一旦本地磁盘空间耗尽,以及大型查询 结果。元数据,例如目录对象,该表由 哪些 S3 文件、统计信息、锁、事务日志等存储在 一个可扩展的、事务性的键值存储,它是云的一部分 服务层。
从那时起,直到今天,Snowflake 也可以在 Azure 和 Google Cloud 上运行。
因此,在设置 Snowflake 帐户时,用户可以选择要使用的云存储提供商:对于 AWS Snowflake 将使用简单存储服务 (S3),对于 Azure 它将使用 Azure Blob 存储,对于Google Cloud 它将使用 Google Cloud Storage (GCS)。
,数据库存储在 S3、Azure Blob on Azure 和 GCP 存储桶(或任何名称)中的文件中。数据和存储是完全独立的,这与基于服务器的 RDBMS(如 REDSHIFT)不同,后者的服务器同时具有计算和存储。有关更多详细信息,请参阅 Snowflake 文档。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。