我正在研究一個研究項目,我需要爲HDFS創建某種代理,以便我們可以將呼叫捕獲到HDFS並應用某些訪問/拒絕(文件)策略,然後將其返回給用戶。對於像HttpF和WebHDFS這樣的HDFS接口,設計代理系統很容易,因爲它們使用HTTP與客戶端進行通信。但HDFS驅動程序使用協議緩衝區定義的協議在客戶端和名稱節點之間進行通信。 HDFS代碼中是否有鉤子來設計HDFS本機協議的代理。 Hadoop的版本是2.6。我們如何開發一個HDFS代理(Hadoop分佈式文件系統)
0
A
回答
0
像你提到的WebHDFS一樣,外部(周邊)安全是一回事。您可以擴展提交工作等(其實它已經完成看apache knox)
其他這不是代理,而是FileSystem類的替代實現。也已實施多次 - 您可以查看更多信息here
2
Apache Knox可能是也可能不是您正在尋找的。上面的答案Arnon沒有正確的網址。請參閱:http://knox.apache.org/
我們並沒有建在所提供的授權提供文件級的ACL,但您可以創建自定義供應商和插件在
請記住,諾克斯是WebHDFS訪問的代理和。不會直接通過HDFS訪問文件。
因此,在直接訪問相同文件時,在網關完成的任何授權檢查都不會完成。這就是爲什麼我們通常在網關進行服務級別授權檢查,並在資源本身上進行細粒度的授權檢查。
希望這對你有用。
相關問題
- 1. Hadoop分佈式文件系統
- 2. 分佈式開發系統
- 3. Hadoop的分發文件系統
- 4. Hadoop發行文件系統
- 5. 如何控制hadoop分佈式系統中不同從站的文件分配?
- 6. 使用Spark多次寫入hadoop分佈式文件系統
- 7. 如果我們劃分一個C + A分佈式系統會怎樣?
- 8. HDFS vs LFS - Hadoop Dist。文件系統建立在本地文件系統上?
- 9. 刪除Hadoop文件系統中的文件(hdfs)
- 10. HDFS以外的文件系統支持Hadoop序列文件
- 11. 在僞分佈式hadoop模式下管理hdfs
- 12. 查詢預處理:Hadoop或分佈式系統
- 13. 運行任何hadoop hdfs文件系統命令時出錯
- 14. 如何將Hadoop MapReduce與HDFS分開?
- 15. 如何用Apache CXF D-OSGi開發分佈式系統?
- 16. 的Hadoop文件系統是物理文件系統或虛擬文件系統
- 17. 如何在我的系統上找到Hadoop hdfs目錄?
- 18. 如何使用HDFS shell訪問兩個或更多遠程Hadoop文件系統?
- 19. Hadoop分佈式文件系統是否支持Google文件系統的任何更新操作?
- 20. 分佈式文件系統.NET
- 21. 分佈式文件系統爲Android
- 22. 測試分佈式文件系統
- 23. Ubuntu中的分佈式文件系統
- 24. 想要創建一個分佈式文件系統嗎?
- 25. 分佈式系統
- 26. 分佈式系統
- 27. Hadoop MapReduce - 在文件系統上執行程序但不與HDFS
- 28. 關於hadoop hdfs文件系統重命名
- 29. 如何將文件從本地文件系統複製到HDFS文件系統?
- 30. CoreOS和HDFS - 在Linux Containers/Docker中運行分佈式文件系統