AWS Lambda put_object函数未将文件发送到目标s3存储桶

如何解决AWS Lambda put_object函数未将文件发送到目标s3存储桶

我正在调用Lambda函数，以从电子邮件向我在该函数中指定的目标s3存储桶中发送.csv文件。当传入的s3存储桶收到电子邮件时，调用由Event type: ObjectCreatedByPut触发。

我从CloudWatch日志中看到确实确实按预期调用了该函数，但是没有文件发送到目标s3存储桶。

这是显示密钥mfdat0psudj12qfihankjkiindd17vftd775so01的传入文件夹

这是Lambda函数；

from __future__ import print_function

import json
import urllib
import boto3
import os

import email
import base64

FILE_MIMETYPE = 'text/csv'

# destination folder
S3_OUTPUT_BUCKETNAME = 's3-bucket/attachments/' 

print('Loading function')

s3 = boto3.client('s3')


def lambda_handler(event,context):

    #source email bucket 
    inBucket = event['Records'][0]['s3']['bucket']['name']
    key = urllib.parse.quote(event['Records'][0]['s3']['object']['key'].encode('utf8'))


    try:
        response = s3.get_object(Bucket=inBucket,Key=key)
        msg = email.message_from_string(response['Body'].read().decode('utf-8'))   

    except Exception as e:
        print(e)
        print('Error retrieving object {} from source bucket {}. Verify existence and ensure bucket is in same region as function.'.format(key,inBucket))
        raise e
    
    #print(msg)
    
    attachment_list = []
    attachment = msg.get_payload()[1]


    try:
        #scan each part of email 
        for message in msg.get_payload():
            
            # Check filename and email MIME type
            if (message.get_filename() != None and message.content_type() == FILE_MIMETYPE):
                attachment_list.append ({'original_msg_key':key,'attachment_filename':message.get_filename(),'body': base64.b64decode(msg.get_payload()) })
    except Exception as e:
        print(e)
        print ('Error processing email for CSV attachments')
        raise e
    
    # if multiple attachments send all to bucket 
    for attachment in attachment_list:

        try:
            s3.put_object(Bucket=S3_OUTPUT_BUCKETNAME,Key=attachment['original_msg_key'] +'-'+attachment['attachment_filename'],Body=attachment['body']) 
        except Exception as e:
            print(e)
            print ('Error sending object {} to destination bucket {}. Verify existence and ensure bucket is in same region as function.'.format(attachment['attachment_filename'],S3_OUTPUT_BUCKETNAME))
            raise e
            
    print(key)
    print(inBucket)
    print(S3_OUTPUT_BUCKETNAME)
    print(message.get_filename())
    print(response)

    return event

这是显示该功能成功调用的日志。

Timestamp
Message
No older events at this moment. 
Retry

2020-10-25T22:05:32.093+00:00   Loading function

2020-10-25T22:05:32.208+00:00   START RequestId: 9d683660-4436-4cff-92c4-01e3ae028a67 Version: $LATEST

2020-10-25T22:05:33.326+00:00   mfdat0psudj12qfihankjkiindd17vftd775so01

2020-10-25T22:05:33.326+00:00   s3-bucket

2020-10-25T22:05:33.326+00:00   s3-bucket/attachments/

2020-10-25T22:05:33.326+00:00   None

2020-10-25T22:05:33.364+00:00   {'ResponseMetadata': {'RequestId': '4DCD1196A2C991B8','HostId': 'tKOE8xz3yq1gryGS+7f7u9+fdwU+buK4C/gTTzOZYZheSxXI9a1MxrggIioWttO9mwmCiwG15d0=','HTTPStatusCode': 200,'HTTPHeaders': {'x-amz-id-2': 'tKOE8xz3yq1gryGS+7f7u9+fdwU+buK4C/gTTzOZYZheSxXI9a1MxrggIioWttO9mwmCiwG15d0=','x-amz-request-id': '4DCD1196A2C991B8','date': 'Sun,25 Oct 2020 22:05:33 GMT','last-modified': 'Sun,25 Oct 2020 22:05:31 GMT','etag': '"b66db710202d45a98daa0a47badf6094"','accept-ranges': 'bytes','content-type': 'application/octet-stream','content-length': '1207346','server': 'AmazonS3'},'RetryAttempts': 0},'AcceptRanges': 'bytes','LastModified': datetime.datetime(2020,10,25,22,5,31,tzinfo=tzutc()),'ContentLength': 1207346,'ETag': '"b66db710202d45a98daa0a47badf6094"','ContentType': 'application/octet-stream','Metadata': {},'Body': <botocore.response.StreamingBody object at 0x7ffba103f490>}

2020-10-25T22:05:33.366+00:00   END RequestId: 9d683660-4436-4cff-92c4-01e3ae028a67

2020-10-25T22:05:33.366+00:00   REPORT RequestId: 9d683660-4436-4cff-92c4-01e3ae028a67 Duration: 1157.42 ms Billed Duration: 1200 ms Memory Size: 128 MB Max Memory Used: 89 MB Init Duration: 413.53 ms
No newer events at this moment. 
Auto retry paused.
 
Resume

但是，当我检查s3-bucket/attachments时目录是空的。有趣的是，print(message.get_filename())返回None。

我已经检查了Lambda代码是否存在错误，还尝试使用s3.upload_file，但这似乎也不起作用。

不确定现在要转到哪里。

解决方法

您正在设置S3_OUTPUT_BUCKETNAME = 's3-bucket/attachments/'，并将其用作Bucket调用中put_object的参数。此操作无效，因为存储桶名称不能包含斜杠（/）。

“文件夹”必须是密钥的一部分。实际上，S3不是文件系统，因此没有任何文件夹。实际文件系统中的文件夹会转换为前缀，作为对象密钥的一部分。

尝试通过以下方式更改功能：

...
S3_OUTPUT_BUCKETNAME = 's3-bucket'
...
s3.put_object(
    Bucket=S3_OUTPUT_BUCKETNAME,Key='attachments/' + attachment['original_msg_key'] + '-' + attachment['attachment_filename'],Body=attachment['body']
)
...

话虽如此，我怀疑attachment_list真是空的，甚至没有执行put_object()。请在if语句周围添加一些日志记录，该语句应该将附件添加到列表中，并在for上遍历attachment_list循环。可能有一个隐藏的错误。

您的print(message.get_filename())似乎表明文件名是None，并且循环中有一个特殊的情况，写着message.get_filename() != None，因此看起来没有有效的附件。

我将对有效负载中的消息进行更多的调试，然后再次检查您关于有效文件名，mimetype等的假设以及是否设置了正确的条件。

改进了我的错误处理能力并探索了邮件库的方法，我能够确认null不正确，而正确的方法实际上是message.content_type()。使用不正确方法的含义是条件message.get_content_type()无法评估和输出任何内容，因此for message in msg.get_payload():...返回的None以及print(message.get_filename())的空白列表

下面的正确声明供任何希望使用Lambda或其他地方复制此功能的人参考。

attachement_list

感谢所有贡献和指导。

AWS Lambda put_object函数未将文件发送到目标s3存储桶

如何解决AWS Lambda put_object函数未将文件发送到目标s3存储桶

解决方法

相关推荐