通過JDBC在CSV文件上執行SQL

Question

我需要對CSV文件（以逗號分隔的文本文件）應用SQL查詢。我的SQL是從另一個工具預定義的，並且沒有資格更改。它可能包含FROM部分中的嵌入式選擇和表別名。

對於我的任務，我已經發現了兩個開源（這是一個項目的要求）提供的JDBC驅動程序庫：

1. CsvJdbc
2. XlSQL
3. JBoss Teiid
4. 創建Apache Derby DB，將所有CSV作爲表格加載並執行查詢。

這是我遇到的問題：

1. 它不接受SQL的語法（它使用內部選擇和表的別名）。此外，它自2004年以來一直未得到維護。
2. 我無法讓它工作，因爲它具有SAX解析器，在解析其他文檔時會導致異常。同樣，自2004年以來沒有變化。
3. 沒有檢查它是否支持語法，但看起來像一個開銷。它需要幾個實體定義（虛擬數據庫，綁定）。從郵件列表中他們告訴我最後一個版本支持運行時創建所需的對象。有沒有人使用它來完成這個簡單的任務（通常它可以連接到CSV，XML或其他DBS等數據類型並創建一個虛擬的，統一的數據）？
4. 這甚至可以輕鬆完成嗎？

從我考慮/嘗試的4件事情來看，只有3件和4件似乎對我而言可行。有關這些的任何建議，或者我可以查詢我的CSV文件的任何其他方式？

乾杯

Answer 1

如果你的SQL是預定義的，不能改變你的最佳選擇是將您的CSV加載到數據庫中，並對其運行查詢。

Apache Derby是一個可行的選擇，MySQL也是一個可行的選擇，它甚至有一個CSV storage engine或PostgreSQL。

您的SQL是否使用任何專有功能/擴展？如果是這樣，那可能會限制你的選擇。

Answer 2

我會說嵌入式數據庫。我建議Javadb（內置於Java API中的Derby）或者H2，如果你不在意拉動額外的依賴。

Answer 3

我會加載數據到HSQL（HypersonicSQL）。純Java，正確的SQL，久經考驗。其他任何東西都有更大的佔地面積。

Answer 4

有一個Groovy腳本，gcsvsql可以讓你將csv文件視爲數據庫表，包括連接。隨着gcsvsql你可以做這樣的事情：

gcsvsql 「選擇people.csv *，其中年齡> 40」

gcsvsql「選擇 people.name，孩子。從 people.csv，children.csv其中 people.name = children.name」

gcsvsql 「選擇AVG（分數）從 people.csv其中年齡< 40」

你可以找到孩子這個腳本，是基於H2數據庫引擎，在谷歌代碼在這裏：

http://code.google.com/p/gcsvsql/

Answer 5

如果你想從一個Java程序中處理的CSV文件的數據庫，你應該看看h2 database engine.它對讀取/寫入CSV文件和使用內存數據庫有非常好的支持。它是hsql的繼任者，速度更快，並具有增加的功能。你可以在h2教程中閱讀關於csv的支持。

Answer 6

可能有點晚，對不起。

我一直在開發csvjdbc一年多了，自從幾個星期以來，我對該項目擁有「管理員」權利，因此我能夠發佈我製作的最新版本。它確實需要我們需要的所有「我們」（我們：我和我現在的我的同事們），並且在錯誤歸檔時添加內容。

現在看看它，然後再決定。 （網絡文檔仍然需要審查，以獲得更好的洞察力，檢查非常廣泛的測試用例）。

Answer 7

我知道，這是一個非常古老的情況下，但是......

CsvJdbc是一個很酷的庫，但也有使用DbUtils而映射到ResultsSets POJO的一些問題。 第二件壞事是，對不同數據類型的dos沒有很好的支持。

玩CSVJdbc後，我會用一個愚蠢的CsvParser來讀取文件，將它們泵入一個HsqlDB或類似的東西。