將大型SAS數據集轉換爲hdf5

Question

我有多個大型（> 10GB）SAS數據集，我想轉換爲用於熊貓，最好使用HDF5。有許多不同的數據類型（日期，數字，文本），一些數字字段對於缺失值也有不同的錯誤代碼（即值可以是.E，.C等）。我希望保留列名並標記元數據。有沒有人找到一個有效的方法來做到這一點？

我試着使用MySQL作爲兩者之間的橋樑，但轉移時，我得到了一些超出範圍錯誤，再加上它是慢得令人難以置信。我也嘗試以Stata .dta格式從SAS導出，但SAS（9.3）導出的舊Stata格式與pandas中的read_stat（）不兼容。我也嘗試了sas7bdat軟件包，但是從描述中沒有經過廣泛測試，所以我想以另一種方式加載數據集並比較結果以確保一切正常。

額外的細節：我正在尋找轉換的數據集是那些來自CRSP，標普數據庫，IBES和TFN從WRDS。

Answer 1

我在過去沒有太多運氣。我們（我工作的地方）只是使用Tab分隔的文件在SAS和Python之間進行傳輸 - 而且我們做了很多。

這就是說，如果你是在Windows上，你可以嘗試建立一個ODBC連接並寫入文件的方式。

Answer 2

你可能有興趣在sas7bdat的一個分支使用的骯髒的黑客。它提供了一個read_sas方法來將sas文件讀入熊貓數據框。

原sas7bdat：http://git.pyhacker.com/sas7bdat

叉read_sas：https://github.com/openfisca/sas7bdat

改進的歡迎！