允許用戶上傳內容到s3

Question

我在地區BUCKET_REGION上有一個名爲BUCKET的S3存儲桶。我試圖讓我的網絡和移動應用的用戶上傳圖片文件到這些存儲區，只要他們符合基於Content-Type和Content-Length（即，我只允許上傳小於3mb的jpegs）的某些限制。一旦上傳，這些文件應該公開訪問。

基於相當廣泛通過AWS文檔挖，我認爲這個過程應該是這個樣子對我的前端應用程序：

const a = await axios.post('my-api.com/get_s3_id'); 

const b = await axios.put(`https://{BUCKET}.amazonaws.com/{a.id}`, { 
    // ?? 
    headersForAuth: a.headersFromAuth, 
    file: myFileFromSomewhere // i.e. HTML5 File() object 
}); 

// now can do things like <img src={`https://{BUCKET}.amazonaws.com/{a.id}`} /> 
// UNLESS the file is over 3mb or not an image/jpeg, in which case I want it to be throwing errors 

哪裏對我的後端API我會做這樣的事情

import aws from 'aws-sdk'; 
import uuid from 'uuid'; 
app.post('/get_s3_id', (req, res, next) => { 
    // do some validation of request (i.e. checking user Ids) 
    const s3 = new aws.S3({region: BUCKET_REGION}); 
    const id = uuid.v4(); 
    // TODO do something with s3 to make it possible for anyone to upload pictures under 3mbs that have the s3 key === id 
    res.json({id, additionalAWSHeaders}); 
}); 

我不確定的是我應該看到什麼確切的S3方法。

---

這裏有一些事情不工作：

• 我已經看到了很多的提到與s3.getSignedUrl('putObject', ...)訪問（一個很舊的）API的。但是，這似乎並不支持可靠地設置ContentLength - 至少已經有了。 （請參閱https://stackoverflow.com/a/28699269/251162。）

• 我也見過一個更貼近實際的例子，使用HTTP POST和form-data API，這也是非常古老的。我想如果沒有其他選擇，這可能會完成，但我擔心它不再是「正確」的做事方式 - 此外，它似乎做了大量的手動加密等，而不是使用官方節點SDK。 （見https://stackoverflow.com/a/28638155/251162。）

Answer 1

我認爲在直接發佈到S3的情況下，這種情況可能會更好，跳過你的後端服務器。

您可以做的是定義一項策略，明確指定可以上傳到哪裏以及在哪裏使用AWS祕密訪問密鑰（使用AWS sig v4，可以使用this生成策略）對其進行簽名。

在AWS docs

如果可視的政策和簽名爲了您的使用，你可以指定一個像條件的使用示例：

conditions: [ 
    ['content-length-range, 0, '3000000'], 
    ['starts-with', '$Content-Type', 'image/'] 
] 

這將限制上傳到3MB，並Content-Type只項開始於image/

此外，您只需要爲策略生成一次簽名（或者只要發生更改），這意味着您不需要向服務器發送請求即可獲取一個有效的策略，你只需將它硬編碼到你的JS中。如果您需要更新，請重新生成策略和簽名，然後更新JS文件。

編輯：沒有通過SDK來做到這一點的方法，因爲它意味着直接從網頁上的表單發佈，即可以不使用JavaScript。

編輯2：

import crypto from 'crypto'; 

const AWS_ACCESS_KEY_ID = process.env.AWS_ACCESS_KEY_ID; 
const AWS_SECRET_ACCESS_KEY = process.env.AWS_SECRET_ACCESS_KEY; 
const ISO_DATE = '20190728T000000Z'; 
const DATE = '20161201'; 
const REGION = process.env.AWS_DEFAULT_REGION || 'eu-west-1'; 
const SERVICE = 's3'; 
const BUCKET = 'your_bucket'; 

if (!AWS_ACCESS_KEY_ID || !AWS_SECRET_ACCESS_KEY) { 
    throw new Error('AWS credentials are incorrect'); 
} 

const hmac = (key, string, encoding) => { 
    return crypto.createHmac("sha256", key).update(string, "utf8").digest(encoding); 
}; 

const policy = { 
    expiration: '2022-01-01T00:00:00Z', 
    conditions: [ 
     { 
      bucket: BUCKET, 
     }, 
     ['starts-with', '$key', 'logs'], 
     ['content-length-range', '0', '10485760'], 
     { 
      'x-amz-date': ISO_DATE, 
     }, 
     { 
      'x-amz-algorithm': 'AWS4-HMAC-SHA256' 
     }, 
     { 
      'x-amz-credential': `${AWS_ACCESS_KEY_ID}/${DATE}/${REGION}/${SERVICE}/aws4_request` 
     }, 
     { 
      'acl': 'private' 
     } 
    ] 
}; 

function aws4_sign(secret, date, region, service, string_to_sign) { 
    const date_key = hmac("AWS4" + secret, date); 
    const region_key = hmac(date_key, region); 
    const service_key = hmac(region_key, service); 
    const signing_key = hmac(service_key, "aws4_request"); 
    const signature = hmac(signing_key, string_to_sign, "hex"); 

    return signature; 
} 

const b64 = new Buffer(JSON.stringify(policy)).toString('base64').toString(); 
console.log(`b64 policy: \n${b64}`); 
const signature = aws4_sign(AWS_SECRET_ACCESS_KEY, DATE, REGION, SERVICE, b64); 
console.log(`signature: \n${signature}\n`); 

Answer 2

這事我知道，我們有我們的項目，所以我會告訴你的部分代碼：

首先需要發佈到自己的服務器，以獲得信譽爲上傳， 從您將返回從客戶端上傳到S3的參數。

這些都是您發送到AWS S3服務參數，可以將需要的水桶，上傳路徑和文件

let params = { 
     Bucket: s3_bucket, 
     Key: upload_path, 
     Body: file_itself 
    }; 

這是我對實際上傳代碼到S3

config.credentials = new AWS.Credentials(credentials.accessKeyId, 
credentials.secretAccessKey, credentials.sessionToken); 
    let s3 = new S3(config); 
    return s3.upload(params, options).on("httpUploadProgress", handleProgress); 

當然，您從後端獲得的所有憑據項目。

Answer 3

在後端，您需要生成一個定時的預先登記的URL並將該URL發送到客戶端以訪問S3對象。根據您的後端實施技術，您可以使用AWS CLI或SDK（例如Java，.Net，Ruby或Go）。

請參考CLI docs和SDK docs和more SDK

內容大小限制不鏈接產生直接支持。但鏈接只是爲了中繼AWS用戶擁有的訪問權限。

要使用策略限制上傳文件大小，您必須在存儲段上創建CORS策略並使用HTTP POST進行上載。請參閱this link。

Answer 4

您需要熟悉Amazon Cognito，尤其是身份驗證池。

使用亞馬遜Cognito同步，你可以檢索跨客戶平臺，設備和操作系統的數據，因此，如果用戶開始使用手機上的應用程序，並稍後切換到平板電腦，持久化的應用程序信息仍可供該用戶使用。

在這裏閱讀更多：Cognito identity pools

一旦你創建新的標識池，你可以參考它在使用JavaScript的S3 SDK，這將允許你上傳的內容絲毫暴露出來任何憑據到客戶端。

這裏舉例：Uploading to S3

請通讀這一切，尤其是部分「配置SDK」。

拼圖的第二部分 - 驗證。

我會去執行客戶端驗證（如果可能的話），以避免在發生錯誤之前的網絡延遲。如果您選擇在S3或AWS Lambda上實施驗證，則需要等待文件達到AWS的等待時間 - 網絡延遲。

Answer 5

您的服務器就像一個代理，也負責授權，驗證等 一些代碼片段：

upload(config, file, cb) { 
    const fileType = // pass with request or generate or let empty 
    const key = `${uuid.v4()}${fileType}`; // generate file name: 
    const s3 = new AWS.S3(); 
    const s3Params = { 
    Bucket: config.s3_bucket, 
    Key: key, 
    Body: file.buffer 
}; 

s3.putObject(s3Params, cb); 
} 

，然後你可以把密鑰發送給客戶，並提供進一步的訪問。