Hadoop與SAS連接

我想使用SAS/ACESS 9.3M2接口將sas與我的Hive連接。我的問題是， sas是否將配置單元導入sas環境並在其中查詢？或它再次打開配置單元用於報告，以便運行MR，這會使我的報告性能降低到超過2-4秒。Hadoop與SAS連接

如果它將hive表導入其環境與普通的sql多維數據集相比，它的性能如何？

我對sas完全陌生我希望我的報告在2-4秒內生成，其中我的聚合數據位於Hive表中，然後我創建了多維數據集維度。

謝謝...

2013-08-21 sudheer

什麼SAS/ACCESS服務於就是： - 爲您提供讀取數據和/寫入數據源，照顧的數據類型轉換的能力 - 提供有關的元數據數據存儲（表的列表，字段，數據類型） - 提供一種意思（也可以部分）將SAS代碼轉換爲數據源特定代碼（通常爲SQL變體等） - 爲您提供一種寫數據源的方法特定的代碼，並從SAS發送它在數據源中執行

我完全是Hadoop的新手:-)所以我會只是猜測SAS/Hadoop訪問（通過LIBNAME語句）從Hadoop讀取關係數據，文檔中提到了JDBC，所以我想這用於數據訪問。我很懷疑SAS/Access能夠從Hadoop查詢多維數據集（這是您的問題嗎？） - 「我已經創建了多維數據集維度」 - 意味着Hadoop？）。

通常，SAS/Access會盡量減少數據源的數據傳輸，並嘗試將處理推送到數據源。

從http://blog.cloudera.com/blog/2013/05/how-the-sas-and-cloudera-platforms-work-together：

SAS/ACCESS到的Hadoop

SAS/ACCESS提供訪問存儲在Hadoop的在SAS本地數據集的能力。隨着SAS /訪問Hadoop的：

LIBNAME statements can be used to make Hive tables look like SAS data sets on top of which SAS Procedures and SAS DATA steps can interact. 
PROC SQL commands provide the ability to execute direct Hive SQL commands on Hadoop. 
PROC HADOOP provides the ability to directly submit MapReduce, Apache Pig, and HDFS commands from the SAS execution environment to your CDH cluster.

的SAS/ACCESS接口可以從SAS 9.3M2版本，並支持CDH 3U2以及CDH 4.01或更高。

也可能在 http://support.sas.com/documentation/cdl/en/proc/65145/HTML/default/viewer.htm#p1esotuxnkbuepn1w443ueufw8in.htm

來源

2013-08-21 15:14:01 vasja

由於這是更多的信息我在Hadoop的工具工作過去1年是有幫助的PROC HADOOP。 Hive不是爲報表目的，如果我們從配置單元查詢，它是爲運行MapReduce作業的數據倉庫類應用工具，它主要用於處理海量數據。 soo在我的應用程序中，我處理數據並將我的結果再次存儲在配置單元表中，然後對該結果數據創建多維數據集視圖。我知道配置單元與SAS有連接。所以我想用這個來報告目的。 – sudheer

但正如我在[link]（http://support.sas.com/documentation/cdl/en/bidsag/65687/HTML/default/viewer.htm#n1vhinse09cw5on1vmcvop1tnbi0.htm）中看到的通過配置單元的SAS連接架構，我很懷疑sas是否將表格導入到本地並運行報表？這個短語解釋說我的理解錯了嗎？通常SAS/Access會盡量減少來自數據源的數據傳輸並嘗試將處理推送到數據源.......？ SAS/ACCESS提供了以本地方式訪問SAS中Hadoop中存儲的數據集的功能。通過SAS /訪問Hadoop：.....？ – sudheer

我猜SAS視覺分析可以完成我的工作SAS LASR守護進程在Hadoop集羣的每個節點上運行。根據管理策略，數據從HDFS文件系統加載到LASR守護進程中。所以我猜想可以通過這個來完成報告..我的理解有沒有差距？ – sudheer

Hadoop與SAS連接

回答

相關問題