水槽獲取通過網絡

日誌我在水槽一直在努力從服務器計算機日誌獲取到HDFS。如果服務器和客戶機連接在同一個網絡中，我可以實現這一點。但是如果服務器和客戶端在不同的網絡中，我怎麼能達到相同的效果。水槽獲取通過網絡

我是否需要爲此編寫自定義源？ [公正與Twitter例如檢查從他們使用自己的自定義源獲取Twitter的鳴叫在Cloudera的。]

任何幫助將不勝感激。

感謝，

卡萊

來源

2014-03-13 Kalai

水槽代理商需要能夠連接到傳輸事件。這意味着他們需要在同一個網絡上。

我不知道我理解你的問題。你爲什麼期望它可以工作？

來源

2014-03-13 13:03:35 Sarge

我的要求是在獲取遠程服務器生成的日誌，其一直沒有連接到客戶的網絡。 – Kalai

如果你有一個多宿主主機連接兩個你想跨越船非說話的網絡，你可以在那裏運行彌合日誌從一個網絡傳入和其交付給另一個水槽劑。所以你的多宿主主機將作爲一種代理。我不知道這是否是一個好主意，因爲你的代理可能已經忙於做其他事情，如果它是網絡之間的唯一聯繫。但是，如果你可以設置它，你將不需要自定義匯或源。

如果您有兩個可以同時看到互聯網的不相交網絡，您可以通過HTTP將一個代理程序發佈到Web服務器（或者TCP，但這樣更有效），另一個代理程序可以從同一個網站。您需要編寫兩個自定義代理（源代碼接收器），以便以高性能，可靠和安全的方式工作，更不用說Web服務本身。最後，如果您有兩個完全斷開連接（有氣隙）的網絡，那麼您可以考慮編寫一個自定義接收器，以便自動檢測插入的磁帶並將日誌複製到磁帶。然後你把帶子，步行到另一個網絡，插上電源，並有另一個代理有自動檢測到它，以及和攝取數據:)

來源

2014-03-14 04:40:44

我想給一個提及使用'磁帶'和運動鞋淨:)的+1 – alph486

水槽獲取通過網絡

回答

相關問題