2011-02-04 49 views
0

我有一個需求來實現批處理系統,該系統將在Google App Engine(GAE)之外運行,批量處理來自RDBMS的數據並將其插入到GAE中。對數據存儲的程序化遠程訪問

appcfg.py這是從各種輸入文件做到這一點,但我想「手工」使用一些API來做到這一點,所以我可以完全控制過程的生命週期。 appcfg.py有內部使用的公共API嗎?

我會在Python中編寫一個守護程序,該守護程序在我的內部服務器上運行並監視某些MySQL表。在正確的條件下,它會從MySQL獲取數據,處理數據,並使用GAE RemoteAPI將其發佈到GAE應用程序。

回答

2

聽起來像你已經知道該怎麼做。用你自己的話說:「從MySQL獲取數據,處理它,並使用GAE RemoteAPI發佈它。」 remote api docs甚至有寫入數據存儲的例子。

0

你可能會做什麼(如果我理解你的問題是什麼)使用的是Task Queue。有了這個,你可以定義一個任務,完成你期望的任務;

可以說你想插入東西到GAE數據存儲。在某些服務器上準備插入文件。比去你的應用程序,並準備一個「開始插入任務」。點擊後臺任務將開始,讀取該文件並將其插入數據存儲區。

此外,如果每天執行該任務,則可以使用cron作業調用任務創建。

但是,如果你能說更多的工作,你必須執行它會更容易:-P

+0

這不完全是我在想什麼。我會編輯我的問題。 – 2011-02-04 15:39:41

+0

你仍然可以做cron作業的被動,因爲我不認爲有一個「積極」的API。但是,仍然有可能將其作爲表單提交。因此,正常的HTTPRequests,但變得棘手的安全 – Hons 2011-02-04 16:01:48