2016-08-06 40 views
0

我有一個從S3下載文件的功能。它可以工作,但不能識別IfModifiedSince選項。下面的函數在本地查找相同的命名文件,如果存在,則將time.Time對象設置爲修改日期和時間。然後在S3的請求中使用它,以便自那時起只有在文件被修改的情況下才下載該文件。如何在AWS S3中使用Go設置If-Modified-Since標題

func DownloadS3Media(filename string, mediaDirectory string, bucket string, c *configuration.Configuration) (dest string, bytes int64, err error) { 
    os.Setenv("AWS_ACCESS_KEY_ID", c.AWS_ACCESS_KEY_ID) 
    os.Setenv("AWS_SECRET_ACCESS_KEY", c.AWS_SECRET_ACCESS_KEY) 

    // Create the directories in the path 
    finalFilePath := filepath.Join(mediaDirectory, filename) 
    if err1 := os.MkdirAll(filepath.Dir(finalFilePath), 0775); err1 != nil { 
     return "", 0, err1 
    } 

    //Create the blank file to push the data into 
    var t *time.Time 
    if fi, err2 := os.Stat(finalFilePath); err2 == nil { 
     t1 := fi.ModTime() 
     t = &t1 
    } 
    tempFilePath := filepath.Join(mediaDirectory, filename + ".tmp") 
    tempFile, err3 := os.Create(tempFilePath) 
    if err3 != nil { 
     log.Println("Failed to create file", err3) 
     return finalFilePath, 0, err3 
    } 
    defer tempFile.Close() 

    logLevel := aws.LogDebug 
    downloader := s3manager.NewDownloader(session.New(&aws.Config{Region: aws.String("us-east-1"), LogLevel:&logLevel})) 
    params := &s3.GetObjectInput{Bucket: aws.String(bucket), 
     Key: aws.String(filename), 
     IfModifiedSince: t} 
    numBytes, err4 := downloader.Download(tempFile, params) 
    if err4 != nil { 
     log.Println("Failed to download file", err4) 
     return finalFilePath, 0, err4 
    } 

    //if downloader pulled down the file, rename the tmp file to original. 
    if _, err5 := os.Stat(tempFilePath); err5 == nil { 
     os.Rename(tempFilePath, finalFilePath) 
     log.Println("Renamed ", tempFilePath, "to", finalFilePath) 
    } 

    log.Println("Downloaded file", filename, "to", finalFilePath, numBytes, "bytes") 
    return finalFilePath, numBytes, nil 
} 

調試時,我看到& t時的正確值是一樣的東西sec: 63606119179。在AWS發送請求時,標題存在但設置爲1/1/0001。

---[ REQUEST POST-SIGN ]----------------------------- 
GET http://*****.s3.amazonaws.com/domenic-test.png HTTP/1.1 
Host: *****.s3.amazonaws.com 
User-Agent: aws-sdk-go/1.3.1 (go1.6.3; darwin; amd64) S3Manager 
Authorization: AWS4-HMAC-SHA256 Credential= *****/20160806/us-east-1/s3/aws4_request, SignedHeaders=host;if-modified-since;range;x-amz-content-sha256;x-amz-date, Signature= ***** 
If-Modified-Since: Mon, 1 Jan 0001 00:00:00 GMT 
Range: bytes=0-5242879 
X-Amz-Content-Sha256: ***** 
X-Amz-Date: 20160806T223302Z 
+0

這最終成爲亞馬遜代碼中的一個缺陷,而後者已被糾正和發佈。 –

回答

0

嘗試這樣的簡化:

var t time.Time 
if fi, err2 := os.Stat(finalFilePath); err2 == nil { 
    t := fi.ModTime() 
} 

及更高版本:

params := &s3.GetObjectInput{Bucket: aws.String(bucket), 
    Key: aws.String(filename), 
    IfModifiedSince: aws.Time(t)} 

...如示例代碼在這裏建議:https://github.com/aws/aws-sdk-go/blob/f1e26250235022af782521266389e4b2ae2945e4/service/s3/examples_test.go#L975

起初我還以爲是一個刪除問題,但經過測試,我發現time.Timet指向逃脫塊(這真的讓我感到驚訝)。也許在這兩者之間還有一些其他的錯誤發生,但我會假設,因爲他們的測試通過,這應該工作。

+0

我嘗試過修改,但仍然看到: 'If-Modified-Since:Mon,1 Jan 0001 00:00:00 GMT' –

+0

FWIW,他們的測試沒有解決IfModifiedSince標題。我確實有一張AWS的公開門票。 –

+0

對不起...盡力而爲。祝你好運!讓我知道事情的後續。 –

相關問題