如何解决从MapReduce调用S3命令
我正在EMR群集上执行MapReduce程序,并从MapReduce程序的aws s3 ls s3://my_bucket_name
函数调用reduce()
命令。但是,出现以下错误:
HTTPSConnectionPool(host='s3.amazonaws.com',port=443): Max retries exceeded with url: /my-bucket-name&encoding-type=url (Caused by ConnectTimeoutError(<botocore.awsrequest.AWSHTTPSConnection object at 0x7fd043ed71d0>,'Connection to s3.amazonaws.com timed out. (connect timeout=60)'))
从驱动程序代码的main()
函数调用s3命令有效。
如果我从同一EC2节点的命令行执行aws s3 ls s3://my_bucket_name
,那么它也可以工作。
为什么它不能从化简代码中使用?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。