我正在嘗試創建一個打擊Hadoop並將數據提取到本地Windows計算機的進程。我成功地在ODBC上創建並能夠測試連接。進一步研究我發現我需要使用Microsoft Hive odbc,並且我無法在連接上獲得成功的測試。我願意使用不同的工具,但希望通過最好的方式來完成我想要做的事情。我正在查找的數據也存在於ftp服務器上,並且已經加載到Hadoop,我可以從ftp服務器獲取它,但寧願將其從Hadoop中提取出來。我是Hadoop的全新人物,並且我已經研究和閱讀,但一直未能找到解決方案。我知道解決方案在那裏,我只是沒有找到正確的地方,有人可以請我指出正確的方向嗎?Hadoop數據提取
0
A
回答
0
命中Hadoop和提取數據到我的本地Windows機器
的第一個建議:Apache的星火
我成功地在ODBC創建,並能測試連接
Hadoop不提供ODBC ...配置單元
進一步研究,我發現我需要使用微軟蜂巢ODBC
是在Azure的數據?這就是你會使用微軟的驅動程序的唯一原因,據我可以告訴
想的最佳途徑一些輸入來完成什麼,我試圖做
這一點是不清楚...你已經提到了SQL工具到目前爲止,這是不能通過ODBC訪問的......
如果你在Hive中存儲數據,JDBC/ODBC可以正常工作,但是如果你決定的話Spark會更快在Hadoop中的YARN羣集上運行它。
我可以從FTP服務器得到它,但寧願從Hadoop的
個人拉,我不建議你從Hadoop的
- Hadoop的得到它,(更準確的說, HDFS)不是FTP的替代品
- 如果您的文件「足夠小」以便在FTP中正常存儲,則沒有理由將它們提取到HDFS,因爲HDFS經過優化以處理相當大的文件。
- 您是hadoop的全新用戶,並且您建議您可以輕鬆地拉取FTP文件。
第二個建議:如果你是死心塌地對Hadoop的生態系統中使用的工具,但沒有明確HDFS,嘗試Apache Nifi項目,它提供了一個GetFTP processor。
相關問題
- 1. 從MySQL提取數據到Hadoop的
- 2. Hadoop初學者 - 數據提取和分析
- 3. 將數據從Oracle提取到Hadoop。 Sqoop是一個好主意
- 4. 在Hadoop中處理複雜的XML以提取數據
- 5. teradata hadoop連接器從teradata中提取數據
- 6. 提取數據
- 7. 提取數據
- 8. 提取數據
- 9. 數據提取
- 10. 提取數據
- 11. 提取數據
- 12. 提取數據
- 13. 提取數據
- 14. 數據提取
- 15. 提取數據
- 16. 數據提取?
- 17. 提取數據
- 18. 提取數據
- 19. 提取數據
- 20. 提取數據 -
- 21. 提取數據
- 22. 提取數據
- 23. 提取數據
- 24. 提取數據
- 25. 提取數據
- 26. 提取數據
- 27. 提取數據
- 28. 提取數據
- 29. 提取數據
- 30. 提取數據
我覺得你很可能不高興。你的主要問題是什麼?要確定什麼是重點,我建議你和你的同事談談。 – hiropon