2012-10-25 100 views
0

我有大量的數據表,我需要操作(排序,計算新的數量,根據某些條件選擇特定的行等...)。到目前爲止,我一直在使用電子表格軟件來完成這項工作,但這非常耗時,我正試圖找到一種更有效的方式來完成這項工作。排序和選擇數據

我使用python,但我無法弄清楚如何使用它的這種事情。我想知道是否有人可以提出一些建議。 SQL?

+1

sqlite3與python – pogo

+0

你使用的是什麼數據庫技術? oracle,mysql? – John

+1

SQL可能會運行良好。事實上,如果SQL是正確的工具,你甚至無法解決這一事實,這表明你可能會經歷一段相當長的學習曲線,但實際上它仍然可以使用。 –

回答

1

這是一個非常普遍的問題,但有很多事情可以做,可能會讓您的生活更輕鬆。

1.CSV如果您要存儲按列排序的數據,並且您正在尋找容易閱讀的文本文件,這些非常有用。

2.Sqlite3 Sqlite3是一個數據庫系統,不需要服務器來使用(它使用文件來代替),並且像任何其他數據庫系統一樣進行交互。但是,對於處理海量數據的大型項目,不建議使用。

3.MySql MySql是一個數據庫系統,需要服務器進行交互,但可以調整大型項目以及小型項目。

雖然還有很多其他不同類型的系統,所以我建議你四處搜索,找到最適合的系統。但是,如果您想要使用Sqlite3或CSV,那麼Sqlite3和CSV模塊都是在Python 2.7和3.x的標準庫中提供的,我相信。

1

你可能會明白在Python標準庫中的sqlite3模塊:

你得到一個儲存在磁盤上的文件SQL數據庫,無需配置單獨的數據庫服務器。一次訪問多個客戶端並不適合,但對於像您這樣的單線程分析應用程序來說,這非常合適。

+0

之前使用了一點SQL sqlite3可以支持多個客戶端同時訪問它,但是,一次只有一個客戶端可以一次對數據庫進行更改。請參閱:http://www.sqlite.org/faq.html#q5 –

+0

看起來像sqlite3是要走的路! – Labibah