如何将密钥创建为文件夹并将值创建为文件

如何解决如何将密钥创建为文件夹并将值创建为文件

• 我有一个存储桶名称测试文件夹

• 在测试文件夹内有test1，test2，test3

• 每个文件夹中都有csv文件

• 需要为文件夹和文件创建键值对

预期

output1 { 'test1':['csv1.csv'],'test2':['csv2'],'test3':['csv3']}

output2 { 'test1':'csv1.csv','test2':'csv2','test3':'csv3'}

#list all the objects
import boto3 
s3 = boto3.client("s3")
final_data = {}
all_objects = s3.list_objects(Bucket = 'testfolder') 
#List the object in subfolder
#create a dictionary

解决方法

您可以检查以下提供output1格式的代码。对于output2，您可以相应地修改final_data：

from collections import defaultdict

import boto3

s3 = boto3.resource("s3")

final_data = defaultdict(list)

in_bucket = 'test-bucket-folder-4412313'

for obj in s3.Bucket(in_bucket).objects.all():
    print(obj.key)
    
    folder_name = obj.key.split('/')[0]
    file_name = obj.key.split('/')[1]

    final_data[folder_name].append(file_name)


print(dict(final_data))

它打印出来：

{'test1': ['csv1.csv'],'test2': ['csv2.csv'],'test3': ['csv3.csv']}