0
我們可以使用hadoop on flow來生成輸出嗎?我有一個大的文件,其中包含日誌和預約ID的。如果我使用傳統的RDBMS,我可以獲得預約ID,但需要1或2個小時。我可以運行Hadoop onflow(應用程序運行時運行map reduce)
日誌文件大小爲800 GB
的流量意味着表示這項任命時,ID管理登錄到系統中。 我可以運行Hadoop onflow(應用程序運行時運行映射減少)
我們可以使用hadoop on flow來生成輸出嗎?我有一個大的文件,其中包含日誌和預約ID的。如果我使用傳統的RDBMS,我可以獲得預約ID,但需要1或2個小時。我可以運行Hadoop onflow(應用程序運行時運行map reduce)
日誌文件大小爲800 GB
的流量意味着表示這項任命時,ID管理登錄到系統中。 我可以運行Hadoop onflow(應用程序運行時運行映射減少)
Hadoop用於批處理數據的處理,而不是實時或特別分析。對於數據的實時分析,有像S4,Twitter Storm,LinkedIn Samza和其他框架。對於臨時查詢,還有像Drill,Imapala和其他框架。
看起來需求更接近即席查詢,而且Hadoop不能滿足要求。
這意味着我不能在流量上使用hadoop。這就像客戶端將大文件傳遞給名稱節點,它將進一步處理並給出正確的輸出。 – user2826111
它被稱爲批處理 - 文件不會發送到NN,請查看hadoop體系結構以獲取更多詳細信息。 –