提供對Hadoop中非結構化文件的訪問

Question

因此，我有一個歸檔在HDFS中的文件集合，文件名中包含唯一鍵。我有一張HIVE表格中有相同唯一鍵的記錄表。

我該如何提供對其他用戶的訪問權限？我可能需要限制對某些用戶的訪問。

我在考慮提供對hive表中文件的引用。

我也可以看看某種網絡界面來搜索下載文件。

Answer 1

每次執行查詢時，Hive都會啓動MapReduce作業（或多個作業）。通過設置和拆除MapReduce作業引入的延遲超出了Web界面預期響應的任何可接受標準。

我建議您在關係數據庫中保留文件的元數據。你必須有一個關係數據庫，比如PostgreSQL來存儲Hive元數據。我當然希望你沒有使用默認的德比！