疑難解答cascalog

我是一個新的Clojure/Cascalog用戶，試圖遷移一些豬腳本，但我經常在repl中得到如下錯誤。疑難解答cascalog

FlowException當地步驟失敗cascading.flow.planner.FlowStepJob.blockOnJob（FlowStepJob.java:191）

「與調試」給出了一些詳細信息，但仍是問題沒有根本原因。任何想法如何改善？

2012-10-17 lorthos

我同意stacktraces有時是非常無益的。我可以建議的一件事是編寫單元測試：http://sritchie.github.com/2011/09/30/testing-cascalog-with-midje.html，這些問題會在實際問題出現的地方顯着縮小。

如果您的查詢工作基本情況，但未能對大數據，你可以添加陷阱，看看有什麼輸入導致了失敗：

(<- .... (:trap (hfs-textline "s3://.../errors" :sinkmode :replace)))

2012-10-17 15:00:43 Kevin

絕對同意。另外，可以粘貼完整的堆棧跟蹤？我很樂意幫助您調試更多信息。 cascalog郵件列表非常好（https://groups.google.com/forum/?fromgroups#!forum/cascalog-user）。 –

我認爲這是遠遠的:)，謝謝你的提示。我不想每個問題的郵件組，因爲大多數，如果他們是我可以發現一些基本的錯誤。但主要問題是任何錯誤似乎都解決了這個異常，從解析到轉換，甚至是hadoop作業配置（輸入，輸出等）中的一些錯誤，無論數據如何。 – lorthos

如果您在本地運行一個小型數據集，您可能會看到更完整的堆棧跟蹤。例如，我昨天剛剛得到了這個錯誤，並進一步指出了引發拋出異常的方法的堆棧。在羣集上運行時，完整堆棧跟蹤僅在任務節點上的日誌中可用，這顯然不太方便。 – Kevin

回答