快速靈活的語言（PostgreSQL）數據庫訪問？

Question

希望這個問題不是太多開放式......簡而言之：我正在尋找一種腳本或編程語言，可以快速但容易地訪問數據庫（PostgreSQL）。

我想使用PostgreSQL數據庫中的某些表上的查詢結果作爲某些R分析的輸入。查詢是簡單的SELECT請求（請求中可能有改進空間，但目前我沒有這種方式 - 我已經做了一段時間），但在第一個查詢的結果循環內。表格包含數字和字符串，並且如果不是數十萬行，則是數以千計，所以查詢的總數可能非常大。

顯然我首先用RPostgreSQL寫了一個R腳本。但是，使用起來需要很長時間（我希望能夠隨時修改和重新運行）。我已經非常有效地優化了這個腳本，''system.time''顯示我大部分時間都花在循環中的DB查詢上。

然後，我想通了，這將是更快的方式，如果我用一個文本文件作爲輸入R，我決定把這個R腳本翻譯成python，使用psycopg2。不幸的是，python腳本的速度並不比R腳本快得多。

最後我開始用libpq-fe寫一個C++程序，但我停下來，因爲我發現它不夠靈活（我的意思是，我必須將我的代碼的行數乘以至少3或4爲了處理查詢）。因此，我想知道哪種語言（或者其他R或python庫？）能夠在數據庫訪問（即查詢結果：列表，數組，字符串操作等）方面提供最佳的速度和靈活性之間的妥協，PostgreSQL）。也就是說，它需要比R + RPostgreSQL和python + psycopg2快得多，並且幾乎和「靈活」一樣。

感謝您的建議（語言必須是Linux友好的）。

---

更新：這裏是僅使用第一500個檢索元件，校正所述N+1問題代碼之後舊與新的代碼的一個典型的定時由Ryan和建議：

> system.time(source("oldcode.R")); 
    user  system  elapsed 
    3.825  0.052  49.363 

> system.time(source("newcode.R")); 
    user  system  elapsed 
    1.920  0.140  3.551 

的1000首次檢索元素相同：

> system.time(source("oldcode.R")); 
    user  system  elapsed 
    9.816  0.092  100.340 

> system.time(source("newcode.R")); 
    user  system  elapsed 
    5.040  0.072  6.695 

確實值得一改。 ;-)

Answer 1

爲了使數據庫的任何接口走得快;優化您的數據庫查詢。正如你發現即使你使用R的優化代碼，大部分時間都花在db上。所以你應該選擇你最熟悉和熟悉的編程語言;因爲就前端而言，這將是最快的。

然而，無論您使用哪種編程語言，總體結果（就感知性能而言）都是相同的。沒有庫可以提高查詢的速度，因爲這純粹是數據庫的功能。所有庫/語言將允許您將多個查詢合併爲單個事務，但查詢的結果仍依賴於您的數據庫佈局和優化。

簡單的事情，如列上缺少索引可能會產生很大的影響。

通過在您的查詢上運行EXPLAIN ANALYZE開始，並將結果粘貼到this tool中以可視化數據庫正在執行的操作，以便您知道從何處開始優化。