從HDFS轉換源數據並通過Talend進行轉換

Question

我們正在嘗試使用Web服務從HDFS，Hive，Hbase & Apache Ignite獲取數據，並使用Talend進行相關轉換，然後將數據加載到下游系統中。

我尋求幫助，如果我們可以用可與Hadoop集羣整合特定的軟件來幫助我們實現這一

Answer 1

要訪問HDFS或蜂房數據，您需要使用WebHcatalog：

WebHCat是REST API爲HCatalog，表和存儲管理 層Hadoop的

Hcatlog是：

HCatalog的表抽象呈現在Hadoop分佈式文件系統（HDFS） 數據的關係視圖的用戶，並確保 用戶不必擔心在那裏或在他們的數據是 存儲

什麼格式

Hbase上的數據可通過Hbase Rest api訪問，請參閱here，或者您可以通過Hive中的HbaseIntegration功能在Hbase頂部創建Hive表，然後通過WebHcatalog訪問它們。