2017-05-03 55 views
0

技術可供選擇:Autosys,Informatica的,UNIX腳本,數據庫(通過Informatica的可用)如何在Autosys中創建優先隊列計劃?

我們目前一批工作原理是filewatchers尋找一個叫當飼料開始處理這些被刪除「control.txt」文件。一旦完成後它會被重新創建,它允許所有的「控制」自動操作作業等待,有一個拿起控制文件並開始逐個處理數據饋送。

然而,該系統已經成長大,有的飼料變得比其他人更重要,我們正在尋找方法來改善我們的調度比別人優先飼料。

與目前的設計中,一個下一個進料運行時決定一個文件,它不能做的,我一直沒能拿出一個簡單的解決方案,使之成爲現實。

例子:

1. Feed A is processing 
2. Feed B, Feed C, Feed X, Feed F come in while Feed A is processing 
3. Need to ensure that Feed B is processed next, even though C, X, F are ready. 
4. C, X, F have a lower priority than A and B, but have the same priority and can process in any order 
+0

您也可以重命名該控件。txt文件相關的飼料 –

回答

0

一個非常有趣的問題。我可以想到的一件事是使用shell腳本來進行額外的Autosys作業,該腳本可以按特定順序複製文件。像:

  • 創建輸入文件夾如StageFolder
  • 讓我們把當前的Autosys輸入文件夾「的InputFolder」
  • 有無Autosys監視它和任何文件運行OrderedFileCopyScript.sh,每分鐘
  • OrderedFileCopyScript.sh應該StageFolder在期望複製一個文件InputFolder僅當輸入文件夾爲空時纔會訂購

我希望自己清楚。

+0

這是一個開始,問題在改變文件名和位置會產生大量額外的工作,認爲該項目不可行。但是,我知道你不可能知道這一點。 – Christian

+0

嗯......我只是在給出的限制內拋出一些想法:)然而:不需要文件名稱的改變,只需要額外的文件夾。 – Maciejg

+0

是的,對不起,這就是我想說的原因。我非常感謝任何幫助。我只是不夠詳細。抱歉。 – Christian

0

我反對使用Autosys來達到這個要求!錯誤的工具!

我不知道所有的細節,但考慮到與通常的參照表的應用程序。

在這種情況下,您應該使用Feed參考表來包含相對優先級。

我建議創建(或重用)的表由文件守望者的繼任者的工作負載。

1)表包含具有相應優先級的未處理文件,然後使用此表根據優先級處理文件。

2)刪除/存檔條目一旦完成。

3)還有另外一項工作,並像start_times/run_window的守護程序一樣運行。

這給了靈活性,以應對變化中的優先事項,並保持整體設計簡潔。

這給出