如何解决如何遍历S3中的所有.csv.gz文件并将其附加到Sagemaker Notebook中?
我在S3中有几个.csv.gz文件,它们需要在数据帧中相互附加。但是,我不确定如何通过此路径正确循环以追加所有文件。
这是我要做的代码:
import os
import datetime
import time
from dateutil.relativedelta import relativedelta
import argparse
import pandas as pd
import boto3
import botocore
AWS_KEY = "*********"
AWS_ID = "****"
S3_BUCKET = 's3://sie-gss-datascience-ahudson'
client = boto3.client('s3')
bucket = 'test'
data_key = "August2020_20180201_data_0_0_0.csv.gz" -- I NEED TO ADD THE LOOP HERE!
data_location = 's3://{}/{}'.format(bucket,data_key)
pd.read_csv(data_location)
到目前为止,它仅获取第一个文件并将其显示在数据框中。如何更改代码,使其显示包含此路径中所有文件的数据框?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。