在另一个账户中跨账户访问AWS Glue的S3

如何解决在另一个账户中跨账户访问AWS Glue的S3

我想为另一个帐户中的AWS Glue设置对S3存储桶的跨帐户访问权限，以进行爬网。我们的环境中有两个帐户（A和B）：

• AccountA 具有一个具有ACL权限的S3存储桶（即管理员更喜欢不使用存储桶策略），从而允许AccountB “列表对象”和“读取存储桶权限”。
• AccountB 想要使用Glue（在AccountB中）对驻留在其中的S3存储桶中的数据进行爬网 AccountA，从而填充其自己的数据目录。

我已确认我可以使用AWS CLI通过AccountB凭据（即aws s3 ls AccountA-S3-Bucket

列出AccountA的S3存储桶的内容

在AccountB内，我使用以下内联策略设置了一个角色（允许Glue代表您调用AWS服务）

{
    "Version": "2012-10-17","Statement": [
        {
            "Effect": "Allow","Action": [
                "s3:Get*","s3:List*"
            ],"Resource": "arn:aws:s3:::AccountA-S3-Bucket/*"
        }
    ] 
}

该角色还附带有AmazonS3FullAccess，AWSGlueServiceRole和CloudWatchLogsFullAccess托管策略，以很好地衡量。我设置了一个Glue搜寻器，将该角色附加为服务角色。

在搜寻器停止后查看CloudWatch日志时，出现以下错误：

[3c81da32-b1eb-49f8-8e51-123fa94f789b] ERROR : Not all read errors will be logged. com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied; Request ID: 4C75D2487246DC4B; S3 Extended Request ID: GoXpY+6XC0pL73qJDmHGt3/4Mp/HeFXNiNFU3QGxVxt2ltTV4W41/LuJCBDVCcqc6Hep+tlG+Wg=),S3 Extended Request ID: GoXpY+6XC0pL73qJDmHGt3/4Mp/HeFXNiNFU3QGxVxt2ltTV4W41/LuJCBDVCcqc6Hep+tlG+Wg=

我也试图按照此博客文章中的说明操作 How to provide cross-account access to objects that are in Amazon S3 buckets to AWS Glue & Athena in another account

我正在执行的操作与博客文章正在执行的操作之间唯一真正的区别是，它们在S3存储桶上设置了存储桶策略，而我的管理员在存储桶上设置了ACL权限。我想知道这是否是问题的原因。任何帮助将不胜感激。

解决方法

您正在朝正确的方向看。 ACL与S3存储桶策略不同。为了确保可以从特定IAM角色访问S3存储桶的对象，您需要在S3策略中明确允许访问该IAM角色。

,

问题是管理员在存储桶上设置了ACL，但是没有在存储桶内的对象上设置ACL（读取对象）。由于存储桶中有大量对象，因此放弃了ACL方法，并且必须在每个对象上放置一个ACL。而是实施了存储桶策略-解决了问题。