2015-02-09 82 views
0

我正在研究一個研究項目,我需要爲HDFS創建某種代理,以便我們可以將呼叫捕獲到HDFS並應用某些訪問/拒絕(文件)策略,然後將其返回給用戶。對於像HttpF和WebHDFS這樣的HDFS接口,設計代理系統很容易,因爲它們使用HTTP與客戶端進行通信。但HDFS驅動程序使用協議緩衝區定義的協議在客戶端和名稱節點之間進行通信。 HDFS代碼中是否有鉤子來設計HDFS本機協議的代理。 Hadoop的版本是2.6。我們如何開發一個HDFS代理(Hadoop分佈式文件系統)

回答

0

像你提到的WebHDFS一樣,外部(周邊)安全是一回事。您可以擴展提交工作等(其實它已經完成看apache knox

其他這不是代理,而是FileSystem類的替代實現。也已實施多次 - 您可以查看更多信息here

2

Apache Knox可能是也可能不是您正在尋找的。上面的答案Arnon沒有正確的網址。請參閱:http://knox.apache.org/

我們並沒有建在所提供的授權提供文件級的ACL,但您可以創建自定義供應商和插件在

請記住,諾克斯是WebHDFS訪問的代理和。不會直接通過HDFS訪問文件。

因此,在直接訪問相同文件時,在網關完成的任何授權檢查都不會完成。這就是爲什麼我們通常在網關進行服務級別授權檢查,並在資源本身上進行細粒度的授權檢查。

希望這對你有用。

相關問題