2
A
回答
0
我從來沒有使用Lua的,也不是的Hadoop流側 - 所以這僅僅是一個建議,不知道這是否會工作:
在http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/看一看,使用Python的Lua的就地?
如果我要嘗試做你的要求,那將是我的出發點。
5
絕對:)你可以使用Hadoop的流媒體這樣的:
創建映射器和/或減速的Lua腳本,從標準輸入讀取:
#!/usr/bin/env lua
while true do
local line = io.read()
if line == nil then break end
# Do something with the incoming row
end
,然後運行您的工作,如:
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper myMapper.lua \
-reducer myReducer.lua \
-file /local/path/to/myMapper.lua
-file /local/path/to/myReducer.lua
在這裏,您使用-mapper
和-reducer
指定您的映射器和reducer腳本,並將這兩個腳本與-file
您的分佈式緩存,所有任務跟蹤器都可以訪問它。
當流運行,你需要確保lua
適用於所有運行任務服務器的機器。
前一段時間,我們嘗試使用luajit
(這是可怕的快)從豬流。如果您使用的豬,你可以這樣做:
OP = stream IP through `/local/path/to/script`;
這是不一樣的使用Lua作爲一個映射或減速,但根據您的操作情況,請從映射器或減速機的輸出通過流劇本。
相關問題
- 1. Can Hadoop Yarn可以運行網格嗎?
- 2. Can Neo 4j可以與HDFS/Hadoop集成
- 3. Can WatiN可以處理CuteWebUI Uploader彈出對話框嗎?
- 4. Can Lua可以用於自己的應用程序開發嗎?
- 5. Can Lua的require函數可以返回多個結果嗎?
- 6. Can Flyway可以與非託管數據庫對象共存嗎?
- 7. Can RabbitMQ可用於一對一對話嗎?
- 8. Can Nodejs可以驗證PHP用戶的會話嗎?
- 9. Can Castle ActiveRecord可以打開無狀態會話嗎?
- 10. Can RowSets可與PreparedStatements一起使用嗎?
- 11. Can Gulp可以改變LESS變量嗎?
- 12. Can Dojox可以繪製XY圖嗎?
- 13. Can options可以將`sat'變成`'不'嗎?
- 14. CanJS可以在Can-EV上滾動嗎?
- 15. Can類可以相互引用嗎?
- 16. Can Dictionary可以接受重複鍵嗎?
- 17. Can Django可以用於Web服務嗎?
- 18. Can Variant參數可以變成vbError嗎?
- 19. can tags可以代替分類嗎?
- 20. Can Gson可以生成XML嗎?
- 21. Can Instruments可以使用命令行嗎?
- 22. Can R可以用於GIS嗎?
- 23. Can Jenkins可以構建Eclipse項目嗎?
- 24. Can InnoSetup可以創建setup.zip嗎?
- 25. Can Rails數組可以「解壓縮」嗎?
- 26. Can Orchard ActivatingFilters可以批處理嗎?
- 27. Can RabbitMQ 2.1.0可以遠程訪客嗎?
- 28. Can ModelAttribute可以是原始的嗎?
- 29. Can Meteor可以與PaaS服務一起使用嗎?
- 30. Can Html.Display/Html.DisplayFor/Html.DisplayForModel可以與DataTable一起使用嗎?