如何列出Am​​azon S3存儲桶中的_all_對象？

Question

S3Client.ListObjects只返回1000個對象。如何使用Amazon C＃庫檢索所有現有對象的列表？

Answer 1

如前所述，Amazon S3確實需要Listing Keys Using the AWS SDK for .NET：

如水桶可以包含按鍵幾乎無限數量，清單查詢的 完整的結果可能會非常大。要管理大型結果集，Amazon S3會使用分頁將它們拆分爲多個響應，即 。每個列表鍵響應都會返回一個高達 1,000個鍵的頁面，並帶有一個指示符，指示響應是否被截斷。 您發送一系列列表密鑰請求，直到您收到所有密鑰 。

所提到的指標是從ObjectsResponse Class的NextMarker屬性 - 它的使用在完整的示例Listing Keys Using the AWS SDK for .NET所示，與相關的片段的存在：

static AmazonS3 client; 
client = Amazon.AWSClientFactory.CreateAmazonS3Client(
        accessKeyID, secretAccessKeyID); 

ListObjectsRequest request = new ListObjectsRequest(); 
request.BucketName = bucketName; 
do 
{ 
    ListObjectsResponse response = client.ListObjects(request); 

    // Process response. 
    // ... 

    // If response is truncated, set the marker to get the next 
    // set of keys. 
    if (response.IsTruncated) 
    { 
     request.Marker = response.NextMarker; 
    } 
    else 
    { 
     request = null; 
    } 
} while (request != null); 

Answer 2

根據文檔的客戶端使用分頁的你描述的情況。根據文件，您應該使用IsTruncated的結果...如果它是true再次調用ListObjects並正確設置Marker以獲得下一頁等 - 停止呼叫時IsTruncated返回false。

Answer 3

注意，上面的答案是不使用推薦的API列表對象：http://docs.aws.amazon.com/AmazonS3/latest/API/v2-RESTBucketGET.html

下面的片段展示了它的外觀與新的API：

using (var s3Client = new AmazonS3Client(Amazon.RegionEndpoint.USEast1)) 
{ 
    ListObjectsV2Request request = new ListObjectsV2Request 
    { 
      BucketName = bucketName, 
      MaxKeys = 10 
    }; 
    ListObjectsV2Response response; 
    do 
    { 
     response = await s3Client.ListObjectsV2Async(request); 

     // Process response. 
     // ... 

     request.ContinuationToken = response.NextContinuationToken; 

    } while (response.IsTruncated == true);   
}