如何使用Hadoop中的Sqoop將非結構化數據直接從Web服務器複製到HDFS。 (無需將數據複製到本地文件系統)將非結構化數據複製到HDFS中?
-2
A
回答
1
從網絡服務器到HDFS,您需要使用Flume或其他適當的工具。 Sqoop用於從RDBMS導入/導出數據。
0
既然你已經說過源代碼是網絡服務器和數據是非結構化的,Flume是你應該找的!
水槽是爲 分佈式的,可靠的,並且可用的服務有效地收集,聚集,和移動日誌的大量 數據
如果數據源是RDBMS和數據是結構化,那麼Sqoop將符合該法案。
Sqoop被設計用於 的Apache Hadoop和結構化的數據存儲之間高效傳輸批量數據例如關係數據庫。
相關問題
- 1. HDFS上非結構化數據行的數據存儲格式
- 2. 將非結構化數據轉換爲結構化數據?
- 3. 如何將此非結構化數據轉換爲結構化?
- 4. 結構化,非結構化和半結構化數據
- 5. HDFS訪問控制對非結構化數據的粒度如何?
- 6. 使用Hadoop將非結構化數據轉換爲結構化數據
- 7. 從BeautifulSoup解析非結構化數據到結構化數據集
- 8. 文本匹配 - 非結構化數據到結構化數據 - SAS或R
- 9. 構造非結構化數據
- 10. 將數據從lParam值複製到VB6中的RECT結構中
- 11. 將結構複製到動態分配的結構數組中
- 12. 將數據複製到「cufftComplex」數據結構?
- 13. HDFS複製 - 數據存儲
- 14. 將非結構化CSV數據加載到Hive
- 15. 複製結構數據
- 16. 結構化和非結構化數據如何區分?
- 17. 存儲結構化和非結構化數據
- 18. 非結構化文本結構化數據
- 19. 使用java將非結構化數據(文本)轉換爲結構化格式
- 20. HBase有它自己的結構化數據(在HDFS上)還是可以在HDFS上的非結構化數據上執行
- 21. 解析非結構化數據
- 22. 非結構化數據庫設計
- 23. 在非規範化的數據結構
- 24. Gnuplot和非結構化數據
- 25. 條形圖和非結構化數據
- 26. 將數據從mongoDB複製到hdfs時出現hadoop jar錯誤
- 27. 將數據複製到HDFS時createBlockOutputStream出現異常
- 28. CSV數據導出/複製到HDFS將在怪異格式
- 29. 將Solr HDFS數據複製到另一個羣集
- 30. 將本地數據複製到hadoop hdfs錯誤