Hadoop離線計算含義

Question

我一直在閱讀Hadoop，並且我已經閱讀了一些內容，Hadoop適用於離線計算。這是什麼意思「離線計算」？

Answer 1

術語「在線」和「離線」有時分別與術語「實時」和「批次」同義使用。例如，"online machine learning"指的是隨着新的訓練數據變得可用而持續發生的學習。相反，"offline machine learning"是指從一批訓練數據中學習。

Hadoop擅長批量處理大量數據（通常在相對不頻繁的情況下執行，例如每小時執行一次），而不是在數據變得可用時實時處理數據。

Answer 2

AFAIK，「離線計算」正是它所說的。這是一個與網絡斷開的系統（通常出於安全原因）。但它也與可以訪問本地數據庫的專用服務器有關，因此它們並不需要連接到網絡，也不需要浪費任何資源。

所以我認爲你讀過的文檔意味着Hadoop非常適合需要處理長時間運行的專用計算的專用服務器，而CPU是必須的。在這種情況下，「離線」通常與性能有關，而不是我猜測的安全性。

Answer 3

在on-line computing,用戶將等待他的查詢的響應，並期待real-time或near real-time中的響應。

在offline computing中，用戶將在特定時間觸發/調度操作，並且不期望實時響應。操作完成後，他會在某段時間後檢查結果。

offline-computing將在大量數據上完成，這可能需要數小時才能完成，因此用戶對實時響應不感興趣。他會火&忘記計算操作。他將在他自己的時間檢查結果。