Sqoop。將數據導入基於日期的目錄

Question

我正在編寫一個sqoop命令，該命令將轉換爲sqoop作業。不過，我希望這項工作每天都能創建一個新的目錄。所以例如當導入作業在昨天運行時，它應該創建目錄路徑/ 2015/11/09，然後是今天/ 2015/11/10。

可以這樣做嗎？或者是否應該生成sqoop命令，以便在每日基本上運行並具有動態創建的適當目錄結構？

Answer 1

其實我找到了我的問題的答案。我們最終使用Oozie來安排我們的Sqoop命令。

我們可以將參數從Oozie傳遞給sqoop，oozie爲我們提供了一種表達式語言，我們可以從中動態創建target-dir字符串。

我想最後，無論使用哪種技術來安排工作，這將是建立目標dir參數的共同點。