需要通過Spark加載Hana表，沒有Spark Vora集成

我有一個要求，我必須將數據從Hadoop加載到SAP Hana。我已經與MySql，DB2和其他一些使用Spark的RDBMS合作，並使用1.5.0版本以上的HSBC Spark Data框架API加載，並且也使用Cassandra和Hive加載，但不支持Hana.is有可能在沒有對Hana進行任何修改的情況下進行加載因爲無法以任何方式觸摸Hana安裝。需要通過Spark加載Hana表，沒有Spark Vora集成

來源

2016-06-13 Shaad

您可以使用Sqoop，如果您更願意留在Hadoop端。

具有Hive適配器的SAP BusinessObjects Data Services也可以正常工作。

來源

2016-06-15 04:01:33 Roman

我們已經有了一種基於文件的方法，我們從配置單元中提取數據並將其複製到Hana服務器，然後使用HDBSQL命令將其加載到那裏。這種方法非常長，往往效率不高。 Sqoop不會幫助我，您是否可以提供有關SAP業務對象數據服務的更多見解。有一個限制，我們沒有太多的權限來使用Hana安裝，因此我們必須使用外部的東西加載它。 – Shaad

我不確定你在評論的第一部分內容。 Sqoop絕對能夠直接讀取Hive數據，而無需事先將其提取到文件中（事實上，Hive本身只是一個接口，從應用程序/配置/倉庫或類似的東西中讀取有組織的文件）。然後Sqoop使用JDBC將數據直接寫入HANA表。 SAP Data Services路徑類似：Data Services使用其Hive適配器從Hive讀取數據，然後使用JDBC寫入HANA。性能非常相似，並且這些選項都不需要HANA更改。 – Roman

那麼這個方法涉及到很多業務約束，總之我的需求是我需要使用spark來處理數據並加載到Hana。在處理後將數據加載到Hana的最後一步是這裏的主要問題，也是我面臨的主要問題。 – Shaad

需要通過Spark加載Hana表，沒有Spark Vora集成

回答

相關問題