jets3t

0熱度

1回答

Google以「Interoperability Mode」的形式提供對其雲存儲服務的「s3兼容」訪問權限。我們在封閉的網絡上運行火花，我們與互聯網的連接是通過代理。 Google自己的用於雲存儲的hadoop連接器沒有針對代理的任何配置設置，因此我們必須使用內置的spark s3a連接器，該連接器允許您設置所有需要設置的屬性以使用可以通話的代理到互聯網，並通過核心的site.xml適當的谷歌U

1熱度

1回答

讀LastModifiedDate用於經由AWS的JetS3t-S3中的Java-8失敗，但是在成功的Java-7

的JetS3t未能得到LastModifiedDate在Java 8現有S3對象但在Java 7. package JsTest import org.jets3t.service.S3Service; import org.jets3t.service.ServiceException; import org.jets3t.service.impl.rest.httpclient.Res

1熱度

2回答

亞馬遜S3A返回通過<a href="https://github.com/databricks/spark-redshift" rel="nofollow noreferrer">spark-redshift library</a>星火紅移庫

我面對java.io.IOException: s3n://bucket-name : 400 : Bad Request error同時加載紅移數據400錯誤的請求：紅移集羣和S3存儲都是在孟買地區。以下是完整的錯誤堆棧： 2017-01-13 13:14:22 WARN TaskSetManager:66 - Lost task 0.0 in stage 0.0 (TID 0, maste

0熱度

2回答

Java中的方式檢查S3存儲桶是否具有與通配符模式匹配的鍵的對象

從Scala或Java程序檢查S3存儲桶是否具有匹配某個特定鍵模式的對象的好方法是什麼？也就是說，如果我有一個名爲「CsvBucket」的桶，我該如何檢查它是否包含鍵匹配模式「processed/files/2015/8/*。csv」的對象？感謝

0熱度

1回答

計算Amazon S3存儲桶大小

我的要求是計算Amazon s3上的各個存儲桶大小。目前我正在使用JetS3T庫。我正在使用ThreadedStorageService.listObjects（）方法來查找每個單獨對象的大小，然後對其進行總結。即使該方法使用多個線程，但需要很長時間才能列出存儲桶中的所有對象。 80,000個物體45分鐘。有沒有其他方法可以更快速地計算存儲桶大小？

0熱度

1回答

- 移動選項jets3t同步不移動S3文件

我正試圖使用--move選項與jets3t同步工具將文件從S3文件夾移動到本地目錄下面的命令。 ./synchronize.sh DOWN --move mybucket/folder/ /mylocal-directory/ 我這個命令執行後的預期，在S3夾中的文件將被刪除，但文件仍保留在S3彷彿沒有 - 移動選項被提供。此外，命令報告它已移動文件： New files: 2, Upda

-1熱度

2回答

配置Hadoop使用S3 requester-pays-enabled

我使用Hadoop（通過Spark），並且需要訪問請求者支付的S3N內容。通常，這是通過在jets3t.properties中啓用httpclient.requester-pays-buckets-enabled = true來完成的。然而，我已經設置了這個，Spark/Hadoop忽略了它。也許我把jets3t.properties放在了錯誤的地方（/usr/share/spark/conf/）

8熱度

2回答

EntityTooLarge錯誤上傳5G的文件到Amazon S3時

Amazon S3的文件大小限制應該根據這個announcement是5T，但上傳5G文件 '/mahler%2Fparquet%2Fpageview%2Fall-2014-2000%2F_temporary%2F_attempt_201410112050_0009_r_000221_2222%2Fpart-r-222.parquet' XML Error Message: <?xml

4熱度

2回答

從Apache Spark將分段上傳到Amazon S3

如何在將數據保存到Amazon S3時使Apache Spark使用分段上傳。 Spark使用RDD.saveAs...File方法寫入數據。當目的地以s3n://開頭時，Spark會自動使用JetS3Tt進行上傳，但對於大於5G的文件，此操作將失敗。需要使用分段上傳將大文件上傳到S3，這對於較小的文件也是有利的。在JetS3Tt中支持分段上傳，帶有MultipartUtils，但Spark在默認

0熱度

1回答

使用hadoop從S3'requester pay'下載數據時發生錯誤

我使用Hadoop 1.2.0和命令distcp從S3'requester pay'下載數據，我有有效的aws id和key，但是，它發生錯誤，如下所示。 org.jets3t.service.S3ServiceException：S3 GET失敗 '/數據集' XML錯誤消息：AccessDenied訪問Denied4FDSDFS454DDWzToSESDFkzv + eiJBmRbqBkW0i