AmazonS3 putObject隨同InputStream長度例如

Question

我上傳使用Java文件S3 - 這是我走到這一步：

AmazonS3 s3 = new AmazonS3Client(new BasicAWSCredentials("XX","YY")); 

List<Bucket> buckets = s3.listBuckets(); 

s3.putObject(new PutObjectRequest(buckets.get(0).getName(), fileName, stream, new ObjectMetadata())); 

文件被上傳，但是當我沒有設定則會出現警告內容長度：

com.amazonaws.services.s3.AmazonS3Client putObject: No content length specified for stream > data. Stream contents will be buffered in memory and could result in out of memory errors. 

這是我上傳文件和stream變量是一個InputStream，從中我可以得到字節數組這樣的：IOUtils.toByteArray(stream)。

所以，當我嘗試設置內容長度和MD5（從here拍攝）這樣的：

// get MD5 base64 hash 
MessageDigest messageDigest = MessageDigest.getInstance("MD5"); 
messageDigest.reset(); 
messageDigest.update(IOUtils.toByteArray(stream)); 
byte[] resultByte = messageDigest.digest(); 
String hashtext = new String(Hex.encodeHex(resultByte)); 

ObjectMetadata meta = new ObjectMetadata(); 
meta.setContentLength(IOUtils.toByteArray(stream).length); 
meta.setContentMD5(hashtext); 

這導致以下錯誤，從S3回來：

的您指定的Content-MD5無效。

我在做什麼錯？

任何幫助表示讚賞！

P.S.我在谷歌應用程序引擎 - 我無法將文件寫入到磁盤或者create a temp file因爲AppEngine上不支持FileOutputStream中。

Answer 1

因爲原來的問題一直沒有回答，我只好碰上同樣的問題，對於MD5問題的解決方案是，S3不希望十六進制編碼字符串的MD5我們通常思考的問題。

相反，我不得不這樣做。

// content is a passed in InputStream 
byte[] resultByte = DigestUtils.md5(content); 
String streamMD5 = new String(Base64.encodeBase64(resultByte)); 
metaData.setContentMD5(streamMD5); 

最根本的是要爲MD5值什麼是Base64編碼的原始MD5字節數組，而不是十六進制字符串。當我轉向這個時，它開始爲我工作。

Answer 2

雖然寫S3，你需要指定S3對象的長度，以確保不存在內存不足的錯誤。

使用IOUtils.toByteArray(stream)也容易出現OOM錯誤，因爲這是由ByteArrayOutputStream

所以支持下，最好的選擇是對的InputStream先寫在本地磁盤上的臨時文件，然後使用該文件被寫入到S3指定臨時文件的長度。

Answer 3

如果你正在嘗試做的是解決從亞馬遜的內容長度錯誤，那麼你可以只讀取輸入流中的字節到長，並添加元數據。

/* 
* Obtain the Content length of the Input stream for S3 header 
*/ 
try { 
    InputStream is = event.getFile().getInputstream(); 
    contentBytes = IOUtils.toByteArray(is); 
} catch (IOException e) { 
    System.err.printf("Failed while reading bytes from %s", e.getMessage()); 
} 

Long contentLength = Long.valueOf(contentBytes.length); 

ObjectMetadata metadata = new ObjectMetadata(); 
metadata.setContentLength(contentLength); 

/* 
* Reobtain the tmp uploaded file as input stream 
*/ 
InputStream inputStream = event.getFile().getInputstream(); 

/* 
* Put the object in S3 
*/ 
try { 

    s3client.putObject(new PutObjectRequest(bucketName, keyName, inputStream, metadata)); 

} catch (AmazonServiceException ase) { 
    System.out.println("Error Message: " + ase.getMessage()); 
    System.out.println("HTTP Status Code: " + ase.getStatusCode()); 
    System.out.println("AWS Error Code: " + ase.getErrorCode()); 
    System.out.println("Error Type:  " + ase.getErrorType()); 
    System.out.println("Request ID:  " + ase.getRequestId()); 
} catch (AmazonClientException ace) { 
    System.out.println("Error Message: " + ace.getMessage()); 
} finally { 
    if (inputStream != null) { 
     inputStream.close(); 
    } 
} 

你需要讀取輸入流使用該確切的方法兩次，所以如果你上傳你可能需要看讀一次到一個數組，然後從那裏閱讀它非常大的文件。

Answer 4

我實際上做的有點同樣的事情，但在我的AWS S3存儲： -

代碼的servlet正在接收上傳的文件： -

import java.io.IOException; 
import java.io.PrintWriter; 
import java.util.List; 

import javax.servlet.ServletException; 
import javax.servlet.http.HttpServlet; 
import javax.servlet.http.HttpServletRequest; 
import javax.servlet.http.HttpServletResponse; 

import org.apache.commons.fileupload.FileItem; 
import org.apache.commons.fileupload.disk.DiskFileItemFactory; 
import org.apache.commons.fileupload.servlet.ServletFileUpload; 

import com.src.code.s3.S3FileUploader; 

public class FileUploadHandler extends HttpServlet { 

    protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { 
     doPost(request, response); 
    } 

    protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { 
     PrintWriter out = response.getWriter(); 

     try{ 
      List<FileItem> multipartfiledata = new ServletFileUpload(new DiskFileItemFactory()).parseRequest(request); 

      //upload to S3 
      S3FileUploader s3 = new S3FileUploader(); 
      String result = s3.fileUploader(multipartfiledata); 

      out.print(result); 
     } catch(Exception e){ 
      System.out.println(e.getMessage()); 
     } 
    } 
} 

代碼被上傳這個數據作爲AWS對象： -

import java.io.ByteArrayInputStream; 
import java.io.IOException; 
import java.util.List; 
import java.util.UUID; 

import org.apache.commons.fileupload.FileItem; 

import com.amazonaws.AmazonClientException; 
import com.amazonaws.AmazonServiceException; 
import com.amazonaws.auth.ClasspathPropertiesFileCredentialsProvider; 
import com.amazonaws.services.s3.AmazonS3; 
import com.amazonaws.services.s3.AmazonS3Client; 
import com.amazonaws.services.s3.model.ObjectMetadata; 
import com.amazonaws.services.s3.model.PutObjectRequest; 
import com.amazonaws.services.s3.model.S3Object; 

public class S3FileUploader { 


    private static String bucketName  = "***NAME OF YOUR BUCKET***"; 
    private static String keyName  = "Object-"+UUID.randomUUID(); 

    public String fileUploader(List<FileItem> fileData) throws IOException { 
     AmazonS3 s3 = new AmazonS3Client(new ClasspathPropertiesFileCredentialsProvider()); 
     String result = "Upload unsuccessfull because "; 
     try { 

      S3Object s3Object = new S3Object(); 

      ObjectMetadata omd = new ObjectMetadata(); 
      omd.setContentType(fileData.get(0).getContentType()); 
      omd.setContentLength(fileData.get(0).getSize()); 
      omd.setHeader("filename", fileData.get(0).getName()); 

      ByteArrayInputStream bis = new ByteArrayInputStream(fileData.get(0).get()); 

      s3Object.setObjectContent(bis); 
      s3.putObject(new PutObjectRequest(bucketName, keyName, bis, omd)); 
      s3Object.close(); 

      result = "Uploaded Successfully."; 
     } catch (AmazonServiceException ase) { 
      System.out.println("Caught an AmazonServiceException, which means your request made it to Amazon S3, but was " 
       + "rejected with an error response for some reason."); 

      System.out.println("Error Message: " + ase.getMessage()); 
      System.out.println("HTTP Status Code: " + ase.getStatusCode()); 
      System.out.println("AWS Error Code: " + ase.getErrorCode()); 
      System.out.println("Error Type:  " + ase.getErrorType()); 
      System.out.println("Request ID:  " + ase.getRequestId()); 

      result = result + ase.getMessage(); 
     } catch (AmazonClientException ace) { 
      System.out.println("Caught an AmazonClientException, which means the client encountered an internal error while " 
       + "trying to communicate with S3, such as not being able to access the network."); 

      result = result + ace.getMessage(); 
     }catch (Exception e) { 
      result = result + e.getMessage(); 
     } 

     return result; 
    } 
} 

注： - 我使用AWS屬性文件憑據。

希望這會有所幫助。

Answer 5

對於上傳，S3的SDK具有兩個putObject方法：

PutObjectRequest(String bucketName, String key, File file) 

和

PutObjectRequest(String bucketName, String key, InputStream input, ObjectMetadata metadata) 

InputStream的+ ObjectMetadata方法需要你的InputStream的內容長度的最小的元數據。如果你不這樣做，那麼它會緩衝內存中的信息，這可能會導致OOM。或者，你可以做你自己的內存緩衝來獲得長度，但是你需要獲得第二個輸入流。

OP沒有問（限制他的環境），但是對於別人，比如我。我發現它更簡單，更安全（如果您有權訪問臨時文件），將輸入流寫入臨時文件並放入臨時文件。沒有內存緩衝區，也不需要創建第二個輸入流。

AmazonS3 s3Service = new AmazonS3Client(awsCredentials); 
File scratchFile = File.createTempFile("prefix", "suffix"); 
try { 
    FileUtils.copyInputStreamToFile(inputStream, scratchFile);  
    PutObjectRequest putObjectRequest = new PutObjectRequest(bucketName, id, scratchFile); 
    PutObjectResult putObjectResult = s3Service.putObject(putObjectRequest); 

} finally { 
    if(scratchFile.exists()) { 
     scratchFile.delete(); 
    } 
} 

Answer 6

我已經創建了一個使用在後臺上傳多以避免緩存在內存中的一切，也沒有寫入到磁盤庫：https://github.com/alexmojaki/s3-stream-upload

Answer 7

加入log4j的-1.2.12.jar文件有解決了這個問題對我來說