lzo

1熱度

2回答

java.io.IOException：找不到LZO編解碼器，無法運行

我試圖在我的配置單元腳本中使用lzo，但收到了此錯誤消息。看起來我沒有班級路徑中的lzo班。有沒有其他人遇到過這個問題，如何解決這個問題，也許我需要知道的是，我可以從哪裏獲得lzo壓縮的jar文件，thx。

1熱度

2回答

我需要安裝python-lzo-1.08。當我嘗試從GZ-文件做到這一點，我得到錯誤： NameError: name 'CURL_DIR' is not defined 操作系統：WIN7 我找不到任何地方的Windows Installer（谷歌只服用GZ或斷開鏈接，以MSI/EXE）。也許有人有這個文件？請分享！（[email protected]）或幫助錯誤「name'CURL_D

2熱度

1回答

Hbase的LZO壓縮

我正在嘗試爲Hbase設置LZO壓縮。但是我在創建build.xml時遇到了問題。日誌遵循以下： [email protected]:~/omalley-hadoop-gpl-compression-d9deaa2$ sudo ant compile-nativeBuildfile: build.xml ivy-download: [get] Getting: http://rep

1熱度

1回答

編譯lzo.dll的64位版本

[更新]因爲我已經成功地編譯和其他人追逐這些二進制文件可以通過從發出以下命令從here 我編譯版本2.06 of lzo下載Visual Studio命令提示符（2010） b\win64\vc_dll.bat 產生lzo2.dll沒有任何錯誤，但是這並不像它確實產生了64位的DLL作爲我的32位C＃應用程序仍然可以參考和調用方法（成功）如何編譯64位版本？一些在這個問題上的意見，可能會過

2熱度

1回答

Hadoop透明地處理壓縮但不能分割LZO

看起來Hadoop在使用TextInputFormat時看起來好像透明地處理壓縮（何時引入，我不記得它在0.20.203）。不幸的是，使用LZO壓縮時，Hadoop的不使用LZO索引文件，使文件可分開。但是，如果我設置輸入格式com.hadoop.mapreduce.LzoTextInputFormat，該文件被分割。在使用TextInputFormat時，可以配置Hadoop來解壓縮LZO文件

6熱度

1回答

高效地將數據存儲在Hive中

如何在Hive中有效地存儲數據並在Hive中存儲和檢索壓縮數據？目前我將它作爲TextFile存儲。我正在通過Bejoy article，我發現LZO壓縮對存儲文件非常有用，而且它也是可拆分的。我有一個HiveQL Select查詢生成一些輸出，我將該輸出存儲在某處，這樣我的一個Hive表（質量）就可以使用該數據，以便我可以查詢該quality表。以下是quality表，其中我通過使我用來

4熱度

2回答

描述在蜂房

我存儲表作爲SequenceFile格式和我設置下面的命令，以啓用序列對BLOCK壓縮在 set mapred.output.compress=true; set mapred.output.compression.type=BLOCK; set mapred.output.compression.codec=org.apache.hadoop.io.compress.LzoCodec;

3熱度

1回答

合理的壓縮塊大小

當使用類似LZO的算法時，壓縮比的合理最小壓縮塊大小是多少？我預計壓縮32B將是無用的，但壓縮512B可能是好的。我太過分了嗎？請不要「檢查自己的答案」:)

2熱度

1回答

將s3中的壓縮（lzo）數據導入配置單元

我將DynamoDB表導出爲s3作爲備份（通過EMR）。當我導出時，我將數據存儲爲lzo壓縮文件。我的配置單元查詢在下面，但基本上我遵循了「使用數據壓縮將Amazon DynamoDB表導出到Amazon S3存儲桶」http://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/EMR_Hive_Commands.ht

2熱度

1回答

如何寫入hadoop hdfs使用lzo壓縮無地圖還原

我正在寫給hadoop hdfs。該文件必須使用lzo進行壓縮。該文件也將實時添加。源文件是在hadoop中不存在的gzip文件。一批處理這個gzip文件，然後進行lzo壓縮並附加到hadoop。這是否消除了使用地圖縮小的可能性？我們該如何做到這一點？在此先感謝您的幫助