我面臨來自客戶端的可以包含數十萬行的CSV文件。是否有DSL(或Java或Python中廣受歡迎的庫)可以高效地運行這些信息的計算,應用各種規則發出警告和錯誤(當然,用戶可配置)?是否有用於數據完整性驗證的標準DSL?
3
A
回答
1
你能想象一個DSL可以做到嗎?規則將如何?
幾個月前,我曾經研究過這樣的問題 - 最終證明比起來似乎更難。
第一步是顯而易見的 - 所有 行被解析並放置到 特殊數據鋼結構製品,所以我能 與他們合作;與 缺少字段的人被拋出。
每一行有其當前的「戰略」 財產,以及可能 策略列表(默認操作,忽略, 力,覆蓋等)
起初,所有行有自己的「戰略」 屬性設置爲「默認」。
行處理器檢查操作是否爲 可能,創建錯誤列表 和警告。
- 處理 和分析結果的每一行是 導致問題被賦予了 替代策略,用戶可以選擇 列表之後;
所以,如果有任何問題,用戶可以更改該行策略(或者只是簡單地使用「忽略」),並返回到步驟4
所以,我在哪一步會好奇這樣的DSL工作?
+0
我沿着斷言線描繪了一些東西,這些東西不一定會在應用程序中啓用修復它們的動作。這是一個完整性檢查腳本,因此必須在報告端執行操作,而不是應用程序本身。例如:''付費項目數量<=「報告項目數量」或者失敗,並且「報告項目少於付費項目」。'要調用一個函數,可能:'「家庭電話號碼」格式化爲「電話「或警告」家庭電話號碼格式不正確「 – syrion 2011-06-28 21:02:55
相關問題
- 1. 請求驗證/數據完整性
- 2. 是否有vCalendar微格式驗證器/完整性檢查器?
- 3. 什麼是將數據完整性驗證錯誤傳播給用戶的好方法/標準方法?
- 4. 是否可以通過xsd驗證xml數據的「參照完整性」?
- 5. xinetd是否保留數據完整性?
- 6. 驗證JAR文件的完整性是否必要?
- 7. 是否可以驗證Browser-Javascript會話的完整性?
- 8. c標準庫中是否有驗證函數?
- 9. 是否存在適用於所有數據庫的標準sql
- 10. 是否有用於測試驗證代碼的「標準」電話號碼集?
- 11. HDFS中的數據完整性:哪些數據節點驗證校驗和?
- 12. 用於文件完整性驗證的簽名/散列選擇
- 13. 用於驗證CSV完整性的正則表達式
- 14. 驗證Android和PHP之間的文件數據完整性
- 15. 客戶數據是否有標準?
- 16. 有沒有Rails驗證數據庫參照完整性的工具?
- 17. 如何驗證Linux tarball的完整性?
- 18. BitTorrent驗證文件的完整性?
- 19. 驗證文檔的完整性
- 20. 驗證文件的完整性?
- 21. 是否有可用於驗證碼
- 22. 是否有數據完整性測試軟件?
- 23. 安裝AEM/cq5是否有任何驗證過程/完整性檢查?
- 24. 數據庫標準化驗證
- 25. 查詢DSL中的「DSL」的完整形式 - 彈性搜索
- 26. 是否有任何標準圖形數據結構可用於基準測試?
- 27. 標準NS3協議標題示例是否完整?
- 28. C++中是否有64位整數的「標準」htonl函數?
- 29. CRC是否有助於防止安全攻擊或保證數據的完整性?
- 30. 快速文件完整性驗證
Python有一個標準的csv模塊內置。 http://docs.python.org/library/csv.html – 2011-06-28 13:33:04
我知道'csv'模塊並廣泛使用它,但它沒有提供基於輸入的數據規則的語法。我可以用純Python編寫它,但是與(例如)Excel公式相比,這有點痛苦。我希望能夠設置幾十條規則,然後遍歷每行。規則越可讀,越好。 – syrion 2011-06-28 13:54:45