如何解决创建具有多个s3路径的AWS胶搜寻器
我想根据以下文档使用boto3 API创建aws胶搜寻器。
在这里,我需要传递近100条s3路径,我想以编程方式创建它。
response = client.create_crawler(
Name='string',Role='string',DatabaseName='string',Description='string',Targets={
'S3Targets': [
{
'Path': 'string','Exclusions': [
'string',],'ConnectionName': 'string'
},
这里我需要一次将s3的100条路径传递给API调用,是否有更好的方法以编程方式完成它,而不是将所有s3路径手动添加到API调用中?
解决方法
正如Prabbakar所述,将对象的完整前缀传递给搜寻器不是最佳实践。考虑添加整个路径并使用排除项。如果那是唯一的方法,则可以从Targets对象中的列表中展开前缀
s3_paths = [
"s3://Bucketname/data/test1/","s3://Bucketname/data/testone","s3://Bucketname/data/testrandompath",...
]
response = client.create_crawler(
Name='string',Role='string',DatabaseName='string',Description='string',Targets={
'S3Targets': [
{
'Path': s3_path,'Exclusions': [],'ConnectionName': 'string'
}
for s3_path in s3_paths
]
}
)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。