編輯 - 我使用的是Windows 10提高數據庫查詢速度與Python
是否有快速的替代pd._read_sql_query的MS SQL數據庫?
我在使用熊貓來讀取數據並在數據上添加一些列和計算。我已經刪除了大部分的修改,現在我基本上只是閱讀(每天一百到二百萬行;我的查詢是讀取前一天的所有數據)數據並將其保存到本地數據庫(Postgres的)。
我連接的服務器遍佈世界各地,除了查詢數據外,我沒有任何特權。如果可能,我希望解決方案保留在Python中。我想加快它,並消除任何開銷。另外,您可以看到我正在將文件臨時寫入磁盤,然後將其打開到STDIN副本。有沒有辦法跳過文件創建?它有時超過500MB,這似乎是一種浪費。
engine = create_engine(engine_name)
query = 'SELECT * FROM {} WHERE row_date = %s;'
df = pd.read_sql_query(query.format(table_name), engine, params={query_date})
df.to_csv('../raw/temp_table.csv', index=False)
df= open('../raw/temp_table.csv')
process_file(conn=pg_engine, table_name=table_name, file_object=df)
什麼是你的本地OS(你的PostgreSQL正在運行)? – MaxU
Windows 10,對不起。添加到OP – trench