Boto2 文件上传出现 ConnectionResetError

小能豆

Boto2 文件上传出现 ConnectionResetError

我正在使用 boto2（boto3 有太多依赖项）。我尝试了很多方法，但没有一个对我有用。已检查存储桶的 CORS 并设置为允许来自“*”的来源

这是我的代码：

# -*- coding: utf-8 -*-

import boto
import boto.s3
import sys
from boto.s3.key import Key


AWS_ACCESS_KEY_ID = 'XXXXXXXXXXXXX'
AWS_SECRET_ACCESS_KEY = 'YYYYYYYYYYYYYYYYYYYYYy'
S3_BUCKET = 'ZZZZZZZZZZZZZZZZZZZZZZ'

conn = boto.connect_s3(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
bucket = conn.get_bucket(S3_BUCKET)

testfile = "test.jpg"
print('{}: Uploading {} to Amazon S3 bucket {}'.format(datetime.now().time().isoformat(), testfile, S3_BUCKET))

def percent_cb(complete, total):
    print(datetime.now().time().isoformat(), complete, total)
#    sys.stdout.write('.')
#    sys.stdout.flush()


k = Key(bucket)
k.key = 'my test file'
k.set_contents_from_filename(testfile, cb=percent_cb, num_cb=5)

这是我在控制台中看到的结果：

19:40:19.760703: Uploading test.jpg to Amazon S3 bucket pickettagent-phase2
19:40:21.394796 0 85937
19:40:22.061834 24576 85937
19:40:24.235959 0 85937
19:40:24.973001 24576 85937
19:40:27.542148 0 85937
19:40:30.110295 0 85937
19:40:38.648783 0 85937
19:40:49.520405 0 85937
19:41:12.959745 0 85937
19:41:13.644785 24576 85937
Traceback (most recent call last):
 ......
ConnectionResetError: [WinError 10054] An existing connection was forcibly closed by the remote host

有时第一列（complete）仅包含零。

之后代码因异常而失败ConnectionResetError: [WinError 10054] An existing connection was forcibly closed by the remote host

我尝试上传的文件大约为 85Kb，因此它应该在一秒钟内上传，但实际上整个过程（从开始到异常）大约需要 40-60 秒。

我尝试了其他解决方案（tinys3，flask-s3，flask-upload），但没有任何效果！

如何将文件上传到 S3 存储桶？也许我错过了某种权限？

阅读 63

2025-02-21

共1个答案

小能豆

试试这个代码，我正在用它上传很多文件（其中大多数都> 1MB）：

from boto.s3.connection import S3Connection
from contextlib import contextmanager

@contextmanager
def connect_to_s3():
    conn = S3Connection(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)

    try:
        yield conn
    finally:
        conn.close()

with connect_to_s3() as conn:
    bucket = conn.get_bucket(S3_BUCKET)
    key = bucket.new_key()
    key.set_contents_from_filename(file_name, cb=percent_cb, num_cb=5)

2025-02-21